Чтобы создать условия для максимального внутреннего желания постоянно приобретать новые знания… необходимо, парадоксальным образом, минимизировать объем а-приори «знаний», чтобы ум был свободен от условностей. Я верю в это каждой клеточкой своего существа. По этой причине я считаю, что 100% моделей ИИ, используемых сегодня, имеют обратный подход к дистилляции информации, которую люди затем интерпретируют. Для моделей, обученных на триллионах размеченных (предвзятых) данных и данных, полученных с помощью RLHF (абоминация): здесь нет рассуждений. Здесь нет интеллекта. Здесь просто регургитация и галлюцинации, маскирующиеся под знания. Тем не менее, доступные сегодня инструменты имеют глубокое влияние и явно ускоряют цифровой прогресс в значительных масштабах. Но, как сказал @amasad в недавнем подкасте, мы не можем слишком отвлекаться на индустриальное волнение текущих методов. Настоящий RL еще не был опробован. Мы не должны сдаваться. Мы должны признать, что требуется гораздо больше исследований… на уровне архитектур программного обеспечения (да, альтернативы Transformers и гораздо больше), аппаратных субстратов (аналоговые, мемристоры и т.д.), представлений данных (новые более высокие измерения 4D + тензоры) и многого другого!