ここでいくつかのコンテキストを追加すると、コンピューティング能力の向上はエネルギー消費の増加にも等しく、これは持続不可能です。 EpochAI は次のように予測しています。 ➤ トレーニング コンピューティングは、年間 4-5 倍でスケーリングされています。 ➤電力需要は年間2.2倍から2.9倍に増加すると予想されています。 2030年までに、各トレーニング実行には4〜16ギガワット(GW)が必要になり、これは米国の何百万もの家庭に電力を供給するのに十分な量です。 いくつかのソリューションが利用可能です。 ➤ ハードウェアのエネルギー効率を向上させる ➤ トレーニング期間を短縮する方法を開発する ➤ 地理的に異なる場所にある複数の GPU にまたがる分散トレーニングを利用します。 これらの中で、@ionet、@render、@AethirCloud などのプロジェクトが先頭に立つ 3 番目のオプションは、最も実現可能で即時の解決策であるように思われます。 h/t @EpochAIResearch