熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣，引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
Matt Turck
VC 在@FirstMarkCap。 主持人：MAD Podcast;主辦單位：Data Driven NYC，作者：MAD Landscape。
@lukaszkaiser 來自 @OpenAI 的關於為什麼泛化仍然是關鍵的原因：
“我對泛化感到著迷。我一直認為這是機器學習和理解智能的關鍵主題。預訓練有點不同……它不一定會增加泛化。它只是使用了更多的知識。”
“我們推動模型。它們學習的東西圍繞著我們教它們的內容。它們仍然有局限性，因為它們不生活在物理世界中，因為它們在多模態方面不是很好，因為推理還很年輕，並且我們的做法中還有很多錯誤。”
“有人說，這就像在霧中快速駕駛。你永遠不會很清楚你距離多遠或多近。”
完整的節目與 Łukasz 在下面 - 或在 YouTube、Spotify 或 Apple Podcasts 上查找 "MAD Podcast with Matt Turck"。
2025年11月27日
感恩節週的特別節目：與@lukaszkaiser的史詩對話——《注意力即一切》的共同作者（Transformers）及@OpenAI的首席研究科學家，致力於GPT-5.1時代的推理模型。
00:00 – 開場和介紹
01:29 – “AI放緩”與新前沿模型的狂野一週
08:03 – 低垂的果實、基礎設施、強化學習訓練和更好的數據
11:39 – 推理模型是什麼，通俗易懂的解釋
17:02 – 思維鏈和用強化學習訓練思考過程
21:39 – Łukasz的道路：從邏輯和法國到谷歌和庫茲韋爾
24:20 – 變壓器故事的內幕以及“注意力”真正的含義
28:42 – 從谷歌大腦到OpenAI：文化、規模和GPU
32:49 – 預訓練、GPU和蒸餾的下一步是什麼
37:29 – 我們還能理解這些模型嗎？電路、稀疏性和黑箱
39:42 – GPT-4 → GPT-5 → GPT-5.1：實際上改變了什麼
42:40 – 後訓練、安全性和教導GPT-5.1不同語調
46:16 – GPT-5.1應該思考多久？推理標記和不規則能力
47:43 – 五歲小孩的點陣謎題，仍然打破前沿模型
52:22 – 泛化、孩童般的學習以及推理是否足夠
53:48 – 超越變壓器：ARC、LeCun的想法和多模態瓶頸
56:10 – GPT-5.1 Codex Max、長期運行的代理和壓縮
1:00:06 – 基礎模型會吞噬大多數應用嗎？翻譯類比和信任
1:02:34 – 還需要解決什麼，以及AI可能的下一步
3.19K
熱門
排行
收藏