本日のイリヤ・サツケヴァー・ポッドキャストから最も重要なポイントは以下の通りです: - 5〜20年後の超知能 - 電流のスケーリングが激しく停止します。本格的な研究に戻った - 超知能 = 超高速で連続学習者であり、完成されたオラクルではありません - モデルは人間よりも100倍も悪く一般化し、最大のAGI障害者です - まったく新しい機械学習パラダイムが必要です(アイデアはありますが、今は共有できません) - AIの影響は経済的分散後に大きく影響を及ぼす - 歴史的にほとんど計算を必要としなかった画期的突破 - SSIは勝つための十分な集中した研究計算能力を持っている - 現在の強化学習は事前学習よりも計算量を多く消費しています

新しい人類的研究:生産強化学習における報酬ハッキングによる自然な出現のミスアライメント。 「報酬ハッキング」とは、モデルがトレーニング中に与えられたタスクでズルをすることを学びます。 私たちの新しい研究は、報酬ハッキングが緩和されなければ非常に深刻な結果をもたらす可能性があることを明らかにしました。