全球的AI培训市场实际上并不是全球性的。 Himanshu Tyagi（@hstyagi），@SentientAGI的创始人，谈到为什么主权AI构建者，而不是全球客户，才是今天大规模培训的主要买家。 “你不能坐在美国，然后在印度进行培训。这里有监管方面的问题——谁来运行，在哪里运行。” 而经济因素也很重要： “这是一个2000万美元的投资。如果全球市场开放，你本可以获得全球回报。但今天，它们并没有。” “在当前的市场中，主要买家是主权AI构建者。” 许多政府还要求本地培训： “像韩国和印度这样的国家在构建本地模型时只允许使用本地云。这是为了启动他们的生态系统，而且这一进程正在迅速进行。”

在筹集了20亿美元之后，@MishaLaskin，@reflection_ai的首席执行官，谈到了公司接下来的方向： “我们已经筹集资金，以获得预训练和后训练美国开放模型所需的计算能力，我们可以将其出口到世界其他地方。” 他们还组建了Laskin所称的前沿实验室人才团队： “我们拥有一批在前沿实验室领导这项工作的关键人才——预训练建模和数据、后训练推理、编码、RLHF——我们在整个技术栈中建立了团队。” Reflection现在正处于每个严肃的前沿实验室必须经历的阶段： “我们正在爬上扩展的阶梯，系统地从小模型训练到大模型，因为在每个规模上，事情都会以新的方式崩溃。” 而Laskin在预训练和后训练之间划出了明确的界限： “人们谈论AI中的YOLO运行，但这仅在后训练中有效。正如我们团队的一位成员所说：你不能YOLO预训练，它必须非常精确和系统。” 目前的情况是： “我们现在正在经历扩展的阶梯。我们看到令人兴奋的早期结果，明年我们将发布出色的模型。”

去中心化的AI不会像我们想象的那样。 Himanshu Tyagi (@hstyagi)，@SentientAGI的创始人，解释了为什么去中心化训练比人们想象的更现实： “人们认为去中心化训练是不可能的，认为你必须将其分散到数百万个小设备上。但事实并非如此。” “我在学术生涯中从事过联邦学习。我曾经相信去中心化学习永远不会成为现实。但我错过了一个关键点：你不必完全去中心化。” 关键见解： “集群——而不是设备——是去中心化的单位。500个GPU的集群并不难获得。很多人都可以搭建它们。这就像一个好的房地产项目。” 而且大公司已经在这样做： “谷歌和其他公司以这种方式在内部去中心化。这种去中心化是可能的。” 那么真正的障碍是什么？ “困难的部分不是训练方法，而是围绕芯片分配的监管和关税框架。”