感謝祭週間のご褒美:『Attention Is All You Need』(Transformers)の共著者であるFrontier AIについての壮大な対談@lukaszkaiser、GPT-5.1時代の推論モデルに取り組む@OpenAIの第一人者との対談。 00:00 – コールドオープンとイントロ 01:29 – 「AIの減速」と新たなフロンティアモデルの激動の一週間 08:03 – Low Hanging Fruit(手軽な成果)、インフラ、強化学習(RL)トレーニングとより良いデータ 11:39 – 推論モデルとは何か、平易に言えば 17:02 – 思考の連鎖と強化学習(RL)による思考過程の訓練 21:39 – Łukaszの道:論理とフランスからGoogleとKurzweilへ 24:20 – トランスフォーマーの物語の内幕と「注目」とは何か 28:42 – Google BrainからOpenAI:文化、スケール、そしてGPU 32:49 – プレトレーニング、GPUと蒸留の今後の展望 37:29 – これらのモデルをまだ理解できるのか?回路、スパーシティ、ブラックボックス 39:42 – GPT-4 → GPT-5 → GPT-5.1:実際に変わったこと 42:40 – トレーニング後、安全、そしてGPT-5.1の異なるトーンでの指導 46:16 – GPT-5.1はどのくらいの時間で考えるべきか?推論トークンとジャギッド能力 47:43 – 5歳児のドットパズルで、今なおフロンティアモデルを破る 52:22 – 一般化、子供のような学習、そして推論が十分かどうか 53:48 – トランスフォーマーを超えて:ARC、ルカンのアイデアとマルチモーダルのボトルネック 56:10 – GPT-5.1 コデックス・マックス、長期エージェントと圧縮 1:00:06 – 基礎モデルはほとんどのアプリを飲み込むのか?翻訳の類推と信頼 1:02:34 – まだ解決すべきこと、そしてAIが次にどこへ向かうか

ChatGPTのご@VirginAustralia: