Thị trường đào tạo AI toàn cầu thực sự không phải là toàn cầu. Himanshu Tyagi (@hstyagi), người sáng lập @SentientAGI, nói về lý do tại sao những người xây dựng AI độc lập, chứ không phải khách hàng toàn cầu, là những người mua chính cho các chương trình đào tạo quy mô lớn ngày nay. "Bạn không thể ngồi ở Mỹ và đào tạo ở Ấn Độ. Có những quy định xung quanh điều đó — ai điều hành nó, nơi nó hoạt động." Và kinh tế cũng quan trọng: "Đó là một khoản đầu tư 20 triệu đô la. Bạn có thể đã có lợi nhuận toàn cầu nếu các thị trường toàn cầu mở cửa. Nhưng hôm nay, chúng không mở." "Trong không gian hiện tại, những người xây dựng AI độc lập là những người mua chính." Và nhiều chính phủ yêu cầu đào tạo địa phương: "Các quốc gia như Hàn Quốc và Ấn Độ chỉ cho phép các đám mây địa phương khi họ xây dựng các mô hình địa phương của mình. Đó là để khởi động hệ sinh thái của họ, và điều đó đang diễn ra nhanh chóng."

Sau khi huy động được 2 tỷ đô la, @MishaLaskin, CEO của @reflection_ai, nói về hướng đi tiếp theo của công ty: "Chúng tôi đã huy động vốn để có được khả năng tính toán cần thiết để tiền huấn luyện và hậu huấn luyện một mô hình mở của Mỹ mà chúng tôi có thể xuất khẩu ra toàn thế giới." Họ cũng đã tập hợp những gì mà Laskin gọi là một đội ngũ tài năng của phòng thí nghiệm tiên phong: "Chúng tôi có một khối lượng người quan trọng đã dẫn dắt công việc này tại các phòng thí nghiệm tiên phong — tiền huấn luyện mô hình và dữ liệu, hậu huấn luyện lý luận, lập trình, RLHF — chúng tôi đã xây dựng các đội ngũ trên toàn bộ quy trình." Reflection hiện đang ở giai đoạn mà mọi phòng thí nghiệm tiên phong nghiêm túc phải trải qua: "Chúng tôi đang trên thang đo lường, một cách có phương pháp huấn luyện các mô hình từ nhỏ đến lớn, vì ở mỗi quy mô, mọi thứ lại gặp trục trặc theo những cách mới." Và Laskin vạch ra một ranh giới rõ ràng giữa tiền huấn luyện và hậu huấn luyện: "Mọi người nói về các lần chạy YOLO trong AI, nhưng điều đó chỉ hoạt động trong hậu huấn luyện. Như một trong những thành viên trong đội của chúng tôi nói: bạn không thể YOLO tiền huấn luyện, nó phải cực kỳ chính xác và có phương pháp." Tình hình hiện tại: "Chúng tôi đang trải qua thang đo lường bây giờ. Chúng tôi đang thấy những kết quả ban đầu thú vị, và chúng tôi sẽ phát hành những mô hình tuyệt vời vào năm tới."

AI phi tập trung sẽ không giống như chúng ta đã nghĩ. Himanshu Tyagi (@hstyagi), người sáng lập @SentientAGI, giải thích tại sao việc đào tạo phi tập trung thực tế hơn những gì mọi người giả định: "Mọi người nghĩ rằng việc phi tập trung hóa đào tạo là không thể, rằng bạn sẽ phải phân tán nó trên hàng triệu thiết bị nhỏ. Nhưng đó không phải là cách nó phải hoạt động." "Tôi đã làm việc về học tập liên kết trong cuộc sống học thuật của mình. Tôi từng tin rằng học tập phi tập trung sẽ không bao giờ trở thành hiện thực. Nhưng tôi đã bỏ lỡ một điểm quan trọng: bạn không cần phải phi tập trung hoàn toàn." Điểm mấu chốt: "Cụm — không phải thiết bị — là đơn vị của sự phi tập trung. Các cụm 500 GPU không khó để có được. Nhiều người có thể thiết lập chúng. Nó giống như một dự án bất động sản tốt." Và những người chơi lớn đã làm điều đó: "Google và những người khác phi tập trung hóa nội bộ theo cách này. Loại phi tập trung đó là khả thi." Vậy rào cản thực sự là gì? "Phần khó không phải là phương pháp đào tạo, mà là khung quy định và thuế quan xung quanh việc phân phối chip."