在这里添加一些背景，计算能力的增加也意味着更高的能耗，这是不可持续的。 EpochAI 预测： ➤ 训练计算每年以 4-5 倍的速度增长。 ➤ 电力需求预计每年将增加 2.2 倍到 2.9 倍。 到 2030 年，每次训练运行可能需要 4-16 吉瓦（GW），足以为数百万美国家庭供电。 有几种解决方案可供选择： ➤ 提高硬件能效 ➤ 开发减少训练时间的方法 ➤ 在不同地理位置的多个 GPU 上利用分布式训练。 在这些方案中，由 @ionet、@render 和 @AethirCloud 等项目主导的第三个选项似乎是最可行和最直接的解决方案。 h/t @EpochAIResearch