Chủ đề thịnh hành
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Tôi nghĩ đây là một quan điểm khiêu khích và là một suy nghĩ tốt nhưng muốn làm rõ lý do một chút.
Hiện nay, hầu hết các công cụ AI hoạt động trên đám mây. Mỗi khi bạn yêu cầu một mô hình viết, tóm tắt, dịch hoặc phân tích điều gì đó, yêu cầu đó sẽ đến một GPU trong một trung tâm dữ liệu. Nhiều người dùng → nhiều truy vấn → nhiều GPU → nhiều trung tâm dữ liệu → nhiều đường dây điện, máy biến áp, trạm biến áp → nhiều sản xuất, v.v. Đó là vòng quay cốt lõi đứng sau sự bùng nổ chi tiêu vốn cho phần cứng AI + trung tâm dữ liệu hiện tại.
Sự suy diễn hữu ích trên thiết bị làm gián đoạn chuỗi tuyến tính đó.
Nếu một mô hình có hàng tỷ tham số đủ hiệu quả để chạy trên chip thần kinh bên trong điện thoại, máy tính xách tay, ô tô hoặc tai nghe của bạn, thì một phần lớn các tác vụ hàng ngày không cần phải rời khỏi thiết bị. Hãy nghĩ đến những yêu cầu đơn giản nhưng có khối lượng lớn: tự động hoàn thành, soạn thảo email, chuyển giọng nói thành văn bản, tóm tắt, nhận diện hình ảnh đơn giản. Đây chính là những truy vấn chung có khối lượng lớn và độ phức tạp thấp mà có khả năng chiếm ưu thế trong việc sử dụng.
Kiểm tra nhanh về những gì có thể thay đổi: Giả định đơn giản - linh hoạt theo ý bạn.
-1B người dùng × 50 truy vấn/ngày × ~$0.002/truy vấn x 365 ngày = ~$35B/năm trong chi phí suy diễn đám mây.
-Nếu 30% trong số đó chuyển sang thiết bị, thì đó là ~$11B+ nhu cầu đám mây hàng năm không bao giờ xuất hiện.
-Cost biên cho mỗi truy vấn địa phương thực sự là ~$0 một khi thiết bị đã được vận chuyển.
Những lưu ý bình thường: phần cứng đang tiến bộ nhưng vẫn cần mở rộng bộ nhớ, băng thông, v.v. Nhưng, một mô hình 3–7B tham số chạy trên chip thần kinh của điện thoại (khoảng 10–45 “TOPS” hiện tại, 60+ dự kiến đến năm 2027) có thể xử lý những tác vụ có khối lượng lớn và độ phức tạp thấp tại chỗ. Bạn không cần các mô hình quy mô biên giới cho mỗi yêu cầu.
Đám mây vẫn quan trọng để rõ ràng. Đào tạo các mô hình biên giới, lý luận dài ngữ cảnh nặng, khối lượng công việc doanh nghiệp lớn, phối hợp đa tác nhân – tất cả những điều đó vẫn phù hợp hơn với các trung tâm dữ liệu lớn, tập trung. Sự thay đổi chính là chuỗi logic không còn là “mỗi người dùng mới = tôi phải thêm nhiều GPU và nhiều gigawatt công suất trung tâm dữ liệu.” Điều chưa biết ở đây là lập luận nghịch lý Jevon và liệu nó có thúc đẩy việc sử dụng AI nhiều hơn và khiến người dùng tìm kiếm các yêu cầu phức tạp hơn, điều này bù đắp một phần cho điều này.
Theo quan điểm của Aashay, sự bùng nổ chi tiêu vốn không 'đứt' hoàn toàn, nhưng quỹ đạo cường độ hiện tại của nó rất có thể bị điều chỉnh. Chuyển đổi ngay cả 5–30% khối lượng công việc suy diễn từ đám mây sang thiết bị ở quy mô hiện tại có thể có ý nghĩa. Các vấn đề khó vẫn được tập trung trong đám mây. Nhưng “AI hàng ngày” trở thành một tính năng của phần cứng mà bạn đã sở hữu thay vì một tiện ích được đo lường mà được thuê theo yêu cầu.
Hàng đầu
Thứ hạng
Yêu thích

