热议：来自“数值”奖励的强化学习只是便利/我们的懒惰——这不是大语言模型的正确范式。 输入代币，输出代币，万岁！

"失败一方没有赢家。" 我在大型科技公司工作了几年后，与在@periodiclabs的经历相比，我观察到的一个重大文化差异是，从"个人影响/晋升"转变为"我们一起赢"。 强烈建议大型科技公司的人考虑加入一家较小的初创公司/企业！ 如果你对我们的使命和团队感到兴奋（有什么不好呢？），我们正在招聘！ 在机器学习方面，我们正在积极寻找分布式训练、推理、cuda内核、中期训练，甚至预训练。 请访问我们的网站申请。 我主要专注于强化学习，但在这里标记一些你可能想联系的机器学习相关人员 @xanderai @vwxyzjn @DBahdanau @khoomeik @reiinakano。

*检查 chatgpt* 这篇论文的费用约为 420 万 USD（40 万 GB200 小时）——科学！ 我们最昂贵的运行是 10 万 GPU 小时（与 Deepseek-R1-zero 相同，但使用 GB200）。 这里的一个发现是，一旦我们有了可扩展的 RL 算法，RL 计算的扩展变得可预测（例如，我们将 16k GPU 小时的 17Bx16 MoE 的计算外推到 50k 小时，得出 3 倍的计算）。 另一个是在比较算法时，接受这个痛苦的教训（尝试预测在给定性能曲线下，它将如何与计算扩展，而不仅仅是固定计算下的性能）。 在可扩展的 RL 方法中，大多数算法技巧不会改变渐近性能，但模型大小、上下文长度、批量大小和数据等因素会改变。 当然，在 RL 中有许多设计选择，因此我们认为 ScaleRL 的配方并不是故事的终点。