我之前在写这个，但看到 @anton_d_leicht 先我一步（而且做得更好！）。 所以我就添加一些我未完成的想法，有些与他的重叠： ----- 我写了相当多关于更先进的人工智能即将到来的内容。但虽然我仍然认为在接下来的二十年里我们可能会得到类似 "AGI "的东西，我也认为在此期间我们可能会经历一个 "人工智能寒冬"。那么为什么不写一下呢？ 我认为这很重要，因为以下原因： – 人工智能寒冬可能不会对我们在长期（几十年而不是几年）内是否朝着 AGI 方向发展提供很有信息量的指示。 – 大多数人会将人工智能寒冬视为对 AGI 可行性非常有信息量的指示。 – 重要的结果是 AGI，而不是在此之前是否有人工智能寒冬。 大多数人的（以及政策制定者的）看法很重要。人工智能寒冬（以及随之而来的投资泡沫破裂）可能会创造一个时期，在此期间，任何关于未来先进人工智能的风险和收益的讨论都变得极其敏感。如果朝向通用智能的核心趋势继续，而我们在政策上没有取得进展，我们将有更少的时间积极塑造人工智能的发展。 想象一下这个悲观的场景：年份是 2028 年。曾经有效的东西不再有效。预训练的规模化在 2025 年开始产生强烈的递减收益。推理的规模化也随之而来。合成数据曾经有效，但只使模型在新的上限附近收敛。发生了一些进一步的创新，使 LLMs 更加智能和有用。但它们仍然只是 LLMs，比较脆弱，并不太擅长自动化工作，即使在自动化写作任务方面还可以。代理的进展比预期的要慢。事实证明，从文本中进行自我监督学习是一种特别容易生成的训练信号。计算机使用中的自我监督学习和强化学习则更难以正确设置。人们正在进行巨大的模拟并在其中训练代理，但这些代理的泛化能力相对较差。人们指着像 AI 2027 这样的事情，看到“期望”和现实之间的巨大差距，便说这一切都是炒作。人工智能实验室再也无法为巨大的训练运行辩护；计算能力只是在为越来越小的边际改进而浪费。也许我们在上下文长度和持续学习方面有了一些突破，但这些还不够。对人工智能的投资暴跌。因此，研发也下降。谈论人工智能的未来变得敏感。任何关于未来能力的猜测都被“现实主义者”淹没，他们指出过去几年令人失望的进展。 在这个场景中，2028 年，这对许多人（大多数人？）来说看起来像是故事的结束。人工智能很好，但它永远只会好到这个程度。就这样。这意味着没有 AGI，没有变革性的影响，没有黄金时代的进步，当然，也没有比深度伪造更糟糕的风险。 但人工智能寒冬会持续多久？ 它可能会永远持续，或者至少需要几十年。与 20 世纪初的趋势相比，我们可能会达到一个根本限制。专家们最终告诉我们，脑-GPU 类比过于粗糙——我们都已经知道这一点——但事实证明，这些差异对于从文本预测器转变为通用代理是重要的。或者我们需要大脑中的量子过程来生成一个有意识的注意焦点，而这——事实证明——是获得最高阶功能所必需的。或者说并不是量子过程本身，而是大脑提供的高度互联的“硬件”，可以在 GPU 进行的主要并行处理上进行模拟。但事实证明，这些模拟还不够，我们实际上需要神经形态芯片来创建有能力的代理，而这些芯片在未来五十年内都不会出现。 你不需要认为这些特定的失败故事是可信的，就可以认为我们可能在 AGI 配方中缺少某种成分，而这个成分在本世纪可能很难或不可能获得，就像在之前的每一个世纪一样。 不过，人工智能寒冬也可能很短。我们已经习惯于能力的阶跃式增长，在大型训练运行之间几乎没有令人印象深刻的更新。如果几次训练运行没有按预期进行，这只是意味着我们将陷入一个更长的平稳期，而下一步变化的成分正在组装并积累到必要的阈值。尽管如此，超出预期的乏善可陈的进展可能会触发许多相同的更长寒冬的过程。 “规模法则”是一种经验观察，而不是关于世界的固有事实。这些趋势绝对可以结束或显著放缓。因为大多数人——尤其是大多数不关注人工智能进展的“外部人士”——往往低估这些趋势的重要性，从事人工智能工作的人有时会受到负面影响，变得过于绝对（这里讽刺地）[关于规模法则的预测能力。是的，我们可能正处于人工智能能力的另一个摩尔定律[情境中。但许多看似稳定的趋势随着时间的推移而停止——我们记住摩尔定律正是因为它是例外。 最后，可能根本不会出现人工智能寒冬。尽管每当人工智能似乎要撞墙时都会有常规的“恐慌”，但我们可能会得到一个不断改善的人工智能前沿，正好在突破它之前。或者我们可能会在许多“泡沫”公司和较小的人工智能初创公司破裂时获得一个改善的前沿。 总结是：有一个朝向越来越通用智能的潜在核心趋势。而正是这个趋势才重要。不是 LLMs 是否能带我们到达那里，或者我们是否会在此期间经历一个临时的人工智能寒冬。 我们的脑袋证明了通用推理者是可以实现的，而今天的人工智能系统证明了我们的推理可以在高度复杂的领域中有用地被近似（无论它是否是“真实推理”）。我所概述的一些最悲观的预测可能是正确的，比如达到机器智能的根本限制。但不断增加的计算能力、训练数据和成千上万的天才在新算法上工作的压力锅似乎最终会导致先进的智能。如果我们想要正确地实现这一点，我们最好专注于这一点，而不是与之仅仅相关的结果。 在我们快速获得变革性人工智能的结果上投入大量精力和思考是有意义的。但不要选择无关紧要的山丘去死。 说到这里，如果泡沫真的破裂会发生什么？Anthropic 会失败吗，连同其他没有像 Google DeepMind 或 Meta 那样多样化收入的人工智能实验室？如果发生大规模出走，XAI 的员工会去哪里？即使许多较小的初创公司和投资破产，至少一些前沿实验室能否继续推动前沿？我们最好试着弄清楚，就像我们试图弄清楚假设趋势继续时该怎么办。如果你有想法，我的私信是开放的。