Угощение на неделю Дня благодарения: эпическая беседа о Frontier AI с @lukaszkaiser - соавтором "Внимание - это всё, что вам нужно" (Трансформеры) и ведущим научным сотрудником в @OpenAI, работающим над моделями рассуждений эпохи GPT-5.1. 00:00 – Холодное открытие и введение 01:29 – "Замедление AI" против дикой недели новых фронтовых моделей 08:03 – Легкие плоды, инфраструктура, обучение с подкреплением и лучшие данные 11:39 – Что такое модель рассуждений, простым языком 17:02 – Цепочка размышлений и обучение мыслительного процесса с помощью RL 21:39 – Путь Łukasza: от логики и Франции до Google и Курцвейла 24:20 – Внутри истории Трансформера и что на самом деле означает "внимание" 28:42 – От Google Brain до OpenAI: культура, масштаб и GPU 32:49 – Что дальше для предварительного обучения, GPU и дистилляции 37:29 – Можем ли мы все еще понять эти модели? Цепи, разреженность и черные ящики 39:42 – GPT-4 → GPT-5 → GPT-5.1: что на самом деле изменилось 42:40 – Постобучение, безопасность и обучение GPT-5.1 различным тонам 46:16 – Как долго должен думать GPT-5.1? Токены рассуждений и неровные способности 47:43 – Задача с точками для пятилетнего ребенка, которая все еще ломает фронтовые модели 52:22 – Обобщение, детское обучение и достаточно ли рассуждений 53:48 – За пределами Трансформеров: ARC, идеи Лекуна и мультимодальные узкие места 56:10 – GPT-5.1 Codex Max, долгосрочные агенты и компакция 1:00:06 – Съедят ли фундаментальные модели большинство приложений? Аналогия с переводом и доверие 1:02:34 – Что еще нужно решить и куда может пойти AI дальше

ChatGPT для @VirginAustralia: