Khi độ dốc của việc mở rộng hiệu suất giảm, cảnh quan tiến hóa của các mô hình trở nên phẳng, điều này dẫn đến sự phân hóa trong không gian tham số / siêu tham số. Bullish về các trung tâm môi trường RL và sự phân hóa của các mô hình thành chuyên môn hóa để đạt được hiệu quả chi phí / hiệu suất tốt nhất.
TBPN
TBPN05:28 28 thg 8
Chúng tôi đã hỏi @willccbb (Trưởng nghiên cứu, Prime Intellect) về cách mà sự bùng nổ AI thực sự mở rộng từ đây. "Chỉ có một số lượng người nhất định để áp dụng các sản phẩm AI. Đến một thời điểm nào đó, sẽ có một mức độ ổn định... Có những quy luật vật lý về việc các mô hình tốt đến mức nào và tốc độ mà các chip có thể mở rộng." Điều đó không có nghĩa là tiến bộ dừng lại, mà nó chuyển hướng. Hãy mong đợi nhiều sự chuyên môn hóa hơn (các tác nhân hẹp, có giá trị cao) và những sự đánh đổi thông minh hơn thay vì chỉ là các cụm lớn hơn. "Chúng ta sẽ có rất nhiều núm để điều chỉnh, tôi nghĩ vậy."
11,69K