當性能擴展的梯度減弱時,模型的進化景觀變得平坦,這導致參數/超參數空間中的物種形成。 對RL環境中心和模型向專業化專長的物種形成持看漲態度,以實現最佳的成本/性能效率。
TBPN
TBPN8月28日 05:28
我們問了 @willccbb(Prime Intellect 的研究負責人)關於 AI 熱潮如何真正擴展的問題。 “採用 AI 產品的人數是有限的。在某個時刻,會出現一個平台……模型的優越性和晶片的擴展速度都有物理定律。” 這並不意味著進步會停止,而是會轉變。預計會有更多的專業化(狹窄、高價值的代理)和更聰明的權衡,而不僅僅是更大的集群。 “我認為我們會有很多旋鈕可以調節。”
11.36K