между "внимание — это всё, что вам нужно" и выпуском chatGPT прошло пять с половиной лет. С тех пор прошло ещё три года. Я провёл большую часть сегодняшнего дня, пытаясь собрать слова, которые как-то объяснят эти годы. Когда "внимание" вышло, мне было 19, я работал в промышленной ML-лаборатории, занимаясь парсингом документов. Моделирование языка тогда, безусловно, было культурной задворкой, особенно в здравоохранении. IBM Watson только что сжёг несколько миллиардов долларов во время первой великой лихорадки NLP, и идея о том, что даже несколько миллионов долларов вернутся в эту область, казалась абсурдной. Следующим летом вышла статья о генеративной предобучении. Я помню, как мне её переслал тогдашний парень одной из моих соседок по общежитию, которая управляла компанией по обработке документов в бостонском промышленном низком здании. Если прищурить глаза, вместе они создавали достаточно ясную картину исследовательской повестки, чтобы получить действительно хорошее промышленное NLP. Можно было представить, как курируют наборы данных, и, возможно, даже найти достаточно денег, чтобы соединить несколько GPU, и вы могли бы получить что-то полезное. Я уволился с работы той осенью, чтобы работать над моделями. Духовным центром сообщества "AI как-то реальный" в этот момент был набор групповых домов в Беркли, которые были уверены, что они решили проблему человеческой психологии. Прошло бы ещё несколько лет, прежде чем они рухнули в скандале с вызовом демонов. И ещё два года с того момента, прежде чем законы масштабирования стали ясны. И ещё гораздо дольше, прежде чем появился chatGPT. Этот разрыв преследует меня. Пять с половиной лет — это целая вечность, но сейчас мы говорим об этом так, будто это была прямая линия. Это не так. Это был блуждающий путь с огромными суммами капитала, сожжённого, разрушенными компаниями и десятками тупиков. Теперь все предполагают, что фаза развертывания будет мгновенной. Что, поскольку у нас есть интеллект, экономика просто плавно перестроится вокруг него. Но я смотрю на системы, в которые мы пытаемся внедрить это всё — человеческие процессы из плоти и крови — и невозможно не чувствовать то же самое ощущение временной дилатации. Заставить модель работать было технологической проблемой. Заставить мир работать с ней — это совсем другое. Путь к реальной экономической диффузии будет намного длиннее, чем позволят капитальные рынки. Только на этот раз это не IBM, сжигающий несколько миллиардов. Это все. Каждая мегакэп. Каждый стартап. Триллионы в рыночной капитализации, ставящие на временные рамки развертывания, которые предполагают, что человеческие организации ведут себя как технологические продукты. ...