分散型AIは私たちが思っていたようなものにはならないでしょう。 @SentientAGIの創設者ヒマンシュ・ティヤギ(@hstyagi)は、分散型トレーニングが人々が思うよりも現実的な理由を説明します。 「人々は、分散型トレーニングは不可能だと思い込んでいて、何百万台もの小さなデバイスに分散しなければならないと思い込んでいる。でも、そういう形でいけない。」 「私は学術生活の中でフェデレーテッドラーニングに取り組んできました。かつては分散型学習が現実にならないと思っていました。しかし、重要なポイントを見落としていました。つまり、完全に分散化する必要はないということです。」 重要な洞察: 「分散化の単位はデバイスではなくクラスターです。500GPUのポッドはそれほど難しくありません。多くの人が設置できます。まるで良い不動産プロジェクトみたいなものだ。」 そして大手企業はすでにそれを行っています: 「Googleや他の企業はこのように内部分散化しています。そのような分権化は可能です。」 では、本当の障壁は何でしょうか? 「難しいのは訓練方法ではなく、チップ流通自体の規制や関税の枠組みです。」