"Одна з дуже заплутаних речей щодо моделей зараз: як узгодити той факт, що вони так добре справляються на оцінюваннях. Дивишся на оцінки і думаєш: «Це досить складні оцінки.» Але економічний вплив, здається, значно відстає. Існує [можливе] пояснення. Коли люди проходили попереднє навчання, питання, на яких даних тренуватися, було відповіддю, бо ця відповідь була всім. Тож вам не потрібно думати, чи це будуть ті чи інші дані. Коли люди проходять тренінг RL, вони кажуть: «Добре, ми хочемо мати таке RL-навчання для цього і таке RL-навчання для того.» Ви кажете: «Гей, я б хотів, щоб наша модель добре показала себе після випуску. Я хочу, щоб оцінки виглядали чудово. Яке навчання в реальному житті могло б допомогти в цьому завданні?» Якщо поєднати це з узагальненням, що моделі фактично недостатні, це може пояснити багато з того, що ми бачимо — цей розрив між оцінювальною продуктивністю та реальною реальністю»

"Компаній набагато більше, ніж ідей. Обчислення настільки великі, що не очевидно, що потрібно стільки обчислювальних ресурсів, щоб довести якусь ідею. AlexNet був побудований на двох GPU. Трансформатор був побудований на 8–64 GPU. Це було, що, 2 GPU сьогодні? Можна стверджувати, що логіка щодо O1 не була найскладнішою комп'ютерною технологією у світі. Для досліджень вам точно потрібна певна обчислювальна робота, але зовсім не очевидно, що вам потрібна найбільша кількість обчислювальних ресурсів. Якщо всі знаходяться в межах однієї парадигми, тоді обчислення стає одним із головних відмінностей.» @ilyasut

«З 2012 по 2020 рік це була епоха досліджень. З 2020 по 2025 рік це була епоха масштабування. Чи віра в те, що якщо просто збільшити масштаб у 100 разів, все зміниться? Я не думаю, що це правда. Це знову епоха досліджень, тільки з великими комп'ютерами.» @ilyasut