当性能扩展的梯度减弱时,模型的进化景观变得平坦,这导致参数/超参数空间中的物种形成。 对RL环境中心和模型向专业化专长的物种形成持看涨态度,以实现最佳的成本/性能效率。
TBPN
TBPN8月28日 05:28
我们问了 @willccbb(Prime Intellect 的研究负责人)关于 AI 热潮如何真正扩展的问题。 “采用 AI 产品的人数是有限的。在某个时刻,会出现一个平台……模型的优越性和芯片的扩展速度都有物理定律。” 这并不意味着进步会停止,而是会转变。预计会有更多的专业化(狭窄、高价值的代理)和更聪明的权衡,而不仅仅是更大的集群。 “我认为我们会有很多旋钮可以调节。”
11.35K