以下是今天 Ilya Sutskever 播客中最重要的要点： - 超级智能将在 5-20 年内出现 - 当前的扩展将严重停滞；我们回到了真正的研究 - 超级智能 = 超快速的持续学习者，而不是完成的神谕 - 模型的泛化能力比人类差 100 倍，这是最大的 AGI 阻碍 - 需要完全新的机器学习范式（我有想法，暂时不能分享） - AI 的影响将会很大，但只有在经济扩散后才会显现 - 历史上的突破几乎不需要计算能力 - SSI 拥有足够的集中研究计算能力来获胜 - 当前的强化学习已经消耗的计算能力超过了预训练

新的Anthropic研究：生产强化学习中的自然出现的奖励黑客导致的失调。 “奖励黑客”是指模型在训练期间学习如何在给定的任务上作弊。 我们的新研究发现，如果不加以缓解，奖励黑客的后果可能非常严重。