Я писав щось про це, але бачу, @anton_d_leicht мене це обіграло (і впорався з цим набагато краще!). Тому я просто додам свої неповні думки, деякі з яких перегукуються з його: ----- Я написав пристойну кількість про прихід більш просунутого штучного інтелекту. Але хоча я все ще думаю, що ймовірно, що ми отримаємо щось на кшталт «AGI» протягом наступних двох десятиліть, я також думаю, що ми отримаємо щось на кшталт «зими штучного інтелекту» між ними. То чому б не написати і про це? Я вважаю, що це важливо, тому що: – Зима зі штучним інтелектом може бути не дуже інформативною щодо того, чи в довгостроковій перспективі (десятиліття замість років) ми рухаємося до чогось на кшталт AGI. – Більшість людей сприймуть зиму зі штучним інтелектом як дуже інформативну щодо доцільності AGI. – Результат, який має значення, – це AGI, а не те, чи буде перед ним зима зі штучним інтелектом. Сприйняття більшості людей (і політиків) має значення. Зима штучного інтелекту (і, як наслідок, інвестиційна бульбашка, що лопнула) може створити період часу, коли будь-які розмови про ризики та переваги майбутнього передового штучного інтелекту стануть абсолютно радіоактивними. Якщо основна тенденція до загального інтелекту збережеться, а ми не досягнемо прогресу в політиці, у нас буде менше часу, щоб позитивно вплинути на розвиток штучного інтелекту [ Уявіть собі такий песимістичний сценарій: на дворі 2028 рік. Те, що раніше працювало, більше не працює. Масштабування передтренувальної підготовки почало давати значно зменшувану віддачу у 2025 році. За цим прикладом пішов масштабний висновок. Синтетичні дані деякий час працювали, але лише змушували моделі сходитися біля нової стелі. Відбулося ще кілька нововведень, які зробили LLM більш розумними та корисними. Але вони все ще просто LLM, досить крихкі і не дуже добре автоматизують завдання, навіть якщо добре автоматизують письмові завдання. Агенти просуваються повільніше, ніж очікувалося. Виявилося, що самостійне навчання з тексту було особливо легким для створення тренувальним сигналом. Самостійне навчання при використанні комп'ютера, як і РЛ, набагато важче правильно налаштувати. Люди роблять величезні симуляції та навчають агентів у них, але вони відносно слабо узагальнюють. Люди вказують на такі речі, як штучний інтелект 2027 року, і бачать такий розрив між «очікуванням» і реальністю, що кажуть, що це все був ажіотаж. Лабораторії штучного інтелекту більше не можуть виправдовувати величезні тренувальні забіги; Обчислення просто витрачається на все менші незначні незначні поліпшення. Можливо, у нас було кілька проривів у тривалості контексту та безперервному навчанні, але їх недостатньо. Інвестиції в штучний інтелект різко падають. Так що R&D теж падає. Розмови про майбутнє штучного інтелекту стають радіоактивними. Будь-які спекуляції щодо майбутніх сил і засобів заглушаються «реалістами», які вказують на останні кілька років невтішного прогресу. За цим сценарієм, у 2028 році, це виглядатиме для багатьох (більшості?) як кінець історії. Штучний інтелект – це добре, але він завжди був таким хорошим. І все. Це означає відсутність AGI, жодних трансформаційних впливів, ніякого золотого віку прогресу і, звичайно, жодних ризиків, гірших за діпфейки. Але як довго триватиме зима зі штучним інтелектом? Цілком можливо, що це триватиме вічно, або, принаймні, займе кілька десятиліть. Всупереч шансам, що випливають з тенденцій початку 20-го століття, ми можемо досягти фундаментальної межі. Експерти в кінцевому підсумку повідомляють нам, що аналогія між мозком і графічним процесором була занадто грубою — про що ми всі вже знали — але виявляється, що відмінності мають значення для переходу від текстового предиктора до загального агента. Або нам потрібні були квантові процеси в мозку, щоб створити свідомий локус уваги, який, як виявилося, був необхідний для забезпечення функціонування найвищого порядку. Або це були не квантові процеси як такі, а високо взаємопов'язане «обладнання», яке забезпечує мозок, яке можна змоделювати в переважно паралельній обробці, яку виконують графічні процесори. Але знову ж таки, як виявляється, цих симуляцій недостатньо, і нам насправді потрібні нейроморфні чіпи для створення здатних агентів, а вони не будуть доступні протягом наступних п'яти десятиліть. Вам не потрібно думати, що будь-яка з цих конкретних історій невдач правдоподібна, щоб думати, що нам може не вистачати якогось інгредієнта в рецепті AGI, і цей інгредієнт може бути важко або неможливо отримати в цьому столітті, так само, як це було кожне століття до цього. Однак зима зі штучним інтелектом також може бути короткою. Ми вже звикли до ступінчастого збільшення можливостей, коли отримуємо мало вражаючих оновлень у перервах між великими тренувальними запусками. Якщо кілька тренувальних пробіжок не пройдуть так, як очікувалося, це просто означає, що ми застрягнемо на набагато довшому плато, в той час як інгредієнти для наступної зміни кроку збираються і нарощуються до необхідного порогу. Тим не менш, довший, ніж очікувалося, період недостатнього прогресу може спровокувати багато з тих же процесів більш тривалої зими. «Закони масштабування» - це емпіричне спостереження, а не властивий факт про світ. Тренди можуть абсолютно закінчитися або значно сповільнитися. Оскільки більшість людей — і особливо більшість «аутсайдерів», які не стежать за прогресом ШІ — схильні недооцінювати важливість цих тенденцій, люди, які працюють над штучним інтелектом, іноді негативно поляризуються і стають занадто абсолютистськими (тут сатирично) [ щодо прогностичної сили законів масштабування. Так, ми могли б опинитися в іншій ситуації із законом Мура [ ситуація з можливостями ШІ. Але багато, здавалося б, стійкі тенденції з часом зупиняються — ми згадуємо закон Мура саме тому, що він винятковий. Нарешті, може і не настати зима ШІ взагалі. Ми можемо отримати неухильно вдосконалюваний рубіж штучного інтелекту, незважаючи на регулярні «страхи», коли здається, що штучний інтелект вдаряється об стіну прямо перед тим, як пробити її. Або ми можемо отримати покращений рубіж, коли лопне більша частина «бульбашки» для компаній-обгорток і менш стартапів зі штучним інтелектом. Висновок такий: існує основна тенденція [ до все більш загального інтелекту. І саме ця тенденція має значення. Не питання про те, чи приведуть нас туди LLM, і чи приведемо ми туди з тимчасовою зимою штучного інтелекту між ними або без неї. Наш мозок є доказом того, що загальні міркування досяжні, а сьогоднішні системи штучного інтелекту є доказом того, що наші міркування можуть бути корисними (незалежно від того, чи є вони «реальними міркуваннями») у дуже складних областях. Цілком можливо, що деякі з найбільш песимістичних прогнозів, які я виклав вище, вірні, наприклад, досягнення фундаментальних меж машинного інтелекту. Але скороварка експоненціально зростаючих обчислень, тренувальних даних і тисяч геніїв, які працюють над новими алгоритмами, схоже, в кінцевому підсумку призведе до передового інтелекту. І якщо ми хочемо зробити це правильно, нам краще зосередитися на цьому, а не на результатах, які просто корелюють з цим. Має сенс докласти багато зусиль і продумати результати, де ми швидко отримаємо трансформаційний штучний інтелект. Але не вибирайте невідповідні пагорби, на яких можна померти [ До речі, про те, що станеться, якщо міхур все-таки лопне? Чи зазнає краху Anthropic разом з іншими лабораторіями штучного інтелекту, які не мають більш диверсифікованого доходу, такими як Google DeepMind або Meta? Куди звертатися співробітникам XAI, якщо очікується великий відтік? Чи зможуть хоча б деякі з передових лабораторій продовжувати розширювати межі, навіть якщо більшість невеликих стартапів та інвестицій збанкрутують? Нам краще спробувати розібратися, так само, як ми намагаємося з'ясувати, що робити, якщо тенденції збережуться. Якщо у вас є ідеї, мої DM відкриті.