Ви можете думати, що це безсумнівно доводить існування високого загального інтелекту, але насправді це лише показує, що можна навчитися певній комбінації навичок з навколишньої культури. Правильні тренувальні дані дають змогу підібрати зразок для наступного кроку в будівництві чистої кімнати.

Штучний інтелект не любить вас і не ненавидить, але ваше тіло складається з води, яку він може використовувати для охолодження свого дата-центру

📢 НОВИЙ ЕКСКЛЮЗИВ DOOM DEBATES: Інтерв'ю з Робом Майлзом (@robertskmiles), найпопулярнішим викладачем безпеки штучного інтелекту на YouTube! Дивно, але Роб розпочав свою кар'єру в 2011 році, задовго до того, як ChatGPT привернув загальну увагу до цієї галузі. Ми говоримо про: 👉 Чому його P (Doom) знаходиться в межах 10-90%, залежно від того, як людство відреагує на виклик 👉 Чому навіть ідеально узгоджені системи штучного інтелекту можуть не передати свої цінності системам-наступникам – величезна сліпа пляма в поточній роботі з безпеки 👉 Проблема «зниклого настрою»: чому люди обговорюють потенційне вимирання людства з емоційною терміновістю академічної конференції, замість того, щоб ставитися до неї як до надзвичайної ситуації, якою вона є 👉 Його основний сценарій загибелі через рекурсивне самовдосконалення, і чому над людським інтелектом величезний запас 👉 Чи є люди «найменш розумним видом, здатним до технологічної цивілізації» – і що це означає для того, чого можуть досягти розумніші системи 👉 Наша ключова розбіжність: Роб вважає, що фахівці з безпеки повинні працювати в компаніях, що займаються штучним інтелектом, для зменшення шкоди, тоді як я стверджую, що це дозволяє «відмивання тяги», яке легітимізує принципово безрозсудні підприємства 👉 Комунікаційна стратегія - Роб задається питанням, чи не бракує його зваженого британського підходу чогось важливого, і, можливо, комусь потрібно «бігати з криками», щоб висловити відповідну терміновість Роб витратив більше десяти років, намагаючись пробудити людей перед найважливішим викликом людства. Наша розмова виявляє напругу між аргументованим аналізом та екзистенційною надзвичайною ситуацією. Настійно рекомендую!

Неймовірне інтерв'ю. Вітаємо @liron Мені сподобалося слухати, @VitalikButerin висвітлювати так багато аспектів ландшафту штучного інтелекту. Я на 50% захоплений інтерв'ю і мені це поки що подобається!

Приготуйтеся до @robertskmiles...

Чому ідіократія була такою точною

Є кумедна річ, коли економічна освіта парадоксальним чином змушує людей дурніти при роздумах про майбутній штучний інтелект. Підручники Econ навчають концепціям і рамкам, які чудово підходять для більшості речей, але контрпродуктивні для роздумів про AGI. Наведемо 4 приклади. Довга пошта: Перший шматок еконської антипедагогіки ховається в словах «праця» і «капітал». Ці слова поєднують поверхневу різницю (людина з плоті та крові проти неї) з купою невисловлених припущень та інтуїції, які будуть зламані штучним загальним інтелектом (AGI). Під «AGI» я маю на увазі «набір чіпів, алгоритмів, електрики та/або дистанційно керованих роботів, які можуть автономно робити ті речі, що можуть робити амбітні дорослі люди – засновувати та керувати новими компаніями, науково-дослідні роботи, вивчати нові навички, використовувати довільних дистанційно керованих роботів після дуже невеликої практики тощо». Так, я знаю, такого поки що не існує! (Незважаючи на ажіотаж, навпаки.) Спробуйте попросити LLM самостійно написати бізнес-план, заснувати компанію, а потім керувати та розвивати її протягом багатьох років як генеральний директор. Помираю від сміху! Він розіб'ється і згорить! Але це обмеження сьогоднішніх LLM, а не «весь ШІ назавжди». Штучний інтелект, який міг би впоратися з цим завданням і набагато більше за його межами, очевидно, можливий – людський мозок, тіло та суспільство не живляться якимось магічним чаклунством, яке вічно знаходиться поза досяжністю науки. Я, наприклад, очікую такого ШІ у своєму житті, добре це чи погано. (Мабуть, «гірше», див. нижче.) Це такий вид AGI «праця» чи «капітал»? Ну, це не людина з плоті і крові. Але в багатьох інших аспектах він більше схожий на «працю», ніж на «капітал»: • Капітал не може просто підняти і зробити все сам? AGI може. • Нові технології довго інтегруються в економіку? Запитайте себе: як висококваліфікованим, досвідченим і підприємливим іммігрантам вдається негайно інтегруватися в економіку? Як тільки ви відповісте на це питання, зверніть увагу, що AGI зможе робити і ці речі. • Капітал сидить без діла, якщо немає людей, які хочуть і вміють ним користуватися? Що ж, ці іммігранти не сидять склавши руки. Як і AGI. • Капітал не може відстоювати політичні права чи здійснювати перевороти? Ну... У будь-якому випадку, люди дивляться науково-фантастичні фільми про роботів, і вони це розуміють! Потім вони проходять економічні курси, і це робить їх дурнішими. (Так, я знаю, #NotAllEconomists і т.д.) Друга частина антипедагогіки Екон - це прищеплення стандартного припущення про те, що ринок може врівноважитися. Але ринок для AGI не може: AGI поєднує властивість ринків праці з властивістю продуктових ринків, де ці властивості є взаємовиключними. Такими властивостями є: • А) «ВІДСУТНІСТЬ ГРУДКИ ПРАЦІ»: Якщо людська популяція зростає, заробітна плата знижується в дуже короткостроковій перспективі, тому що крива попиту на робочу силу нахиляється вниз. Але в довгостроковій перспективі люди знаходять нові продуктивні справи - крива попиту рухається вправо. У всякому разі, вартість праці зростає, а не знижується разом з чисельністю населення! Наприклад, густонаселені міста є двигунами зростання! • Б) «КРИВІ ДОСВІДУ»: Якщо попит на товар зростає, то в дуже короткостроковому періоді відбувається зростання цін, тому що крива пропозиції нахиляється вгору. Але в довгостроковій перспективі люди нарощують виробництво — крива пропозиції рухається вправо. У всякому разі, ціна йде ВНИЗ, а не вгору, разом з попитом, завдяки економії на масштабі та дослідженнях і розробках. ВІКТОРИНА: Враховуючи (A) та (B), яка рівноважна ціна цього пакета AGI (чіпи, алгоритми, електрика, дистанційно керовані роботи тощо)? … Питання з підступом! Рівноваги немає. Наші два принципи, (А) «відсутність грудки праці» і (Б) «криві досвіду», унеможливлюють рівновагу: • Якщо ціна низька, то (А) говорить про те, що крива попиту рухається вправо - немає купки робочої сили, отже, є величезний прибуток, який можна отримати за рахунок кваліфікованих підприємливих AGI, які знаходять нові продуктивні заняття. • Якщо ціна висока, то (B) говорить про те, що крива пропозиції рухається вправо - є величезний прибуток, який можна отримати, наростивши виробництво AGI. • Якщо ціна знаходиться посередині, то крива попиту і крива пропозиції ОБИДВА рухаються вправо! Це не капітал і не праця в тому вигляді, в якому ми його знаємо. Замість ринку рівноваги AGI він утворює петлю позитивного зворотного зв'язку / вічний двигун, який вибухає в геометричній прогресії. Звучить абсурдно? Є прецедент: люди! Людський світ в цілому - це вже петля позитивного зворотного зв'язку / вічний двигун такого типу! Люди перетворилися з кількох тисяч гомінінів на 8 мільярдів людей, які керують економікою вартістю 80 тисяч доларів. Як? Це не буквально вічний двигун. Скоріше, це двигун, який черпає з колодязя «ще не використані економічні можливості». Але пам'ятайте про «Жодної грудки праці»: колодязь ще не використаних економічних можливостей ~ нескінченно глибокий. У нас не закінчилося можливих компаній для заснування. Рій Дайсона ще ніхто не зробив. Існує не так багато людей, щоб засновувати компанії та використовувати нові можливості. А ось петля позитивного зворотного зв'язку у AGI такої межі не має. Час подвоєння може бути невеликим: Уявіть собі автономну фабрику, яка може побудувати ідентичну автономну фабрику, а потім побудувати ще дві і т.д., використовуючи лише широко доступні вхідні матеріали та сонячне світло. У підручниках з економіки про це не йдеться. Але підручники з біології роблять! Ціанобактерія є такою фабрикою, і може подвоїтися за день (≈ гугол відсотків річного приросту 😛 ). У будь-якому випадку, ми не знаємо, наскільки вибухонебезпечним буде цикл позитивного зворотного зв'язку від створення AGI AGI, але я очікую, що це буде на світлові роки більше, ніж будь-що в економічній історії. Третя частина антипедагогіки Econ – це пропаганда зростання ВВП як індикатора прогресу та змін. Навпаки, світ може перетворитися на дику науково-фантастичну країну, яку неможливо впізнати чи зрозуміти, щомісяця, місяць за місяцем, без того, щоб «зростання ВВП» насправді було таким високим. ВВП – це кумедний показник, який особливо погано описує вплив трансформаційних технологічних революцій. (Наприклад, якщо якась нова технологія коштує недорого, а інші сектори економіки залишаються дорогими через регуляторні обмеження, то нова технологія може не сильно вплинути на ВВП, незалежно від того, наскільки вона переверне світ.) Я маю на увазі, звичайно, ми можемо сперечатися про ВВП, але ми не повинні ставитися до цього як до опосередкованої битви з приводу того, чи буде AGI великою проблемою, чи ні. І останнє, і найголовніше, четверта частина антипедагогіки Екон – це акцент на «взаємовигідних торгах», а не на «вбивстві людей і забиранні їхніх речей». Econ 101 доводить, що трейдинг егоїстично кращий, ніж ізоляція. Але іноді «вбивати людей і забирати їхні речі» є егоїстично кращим з усіх. Коли ми говоримо про AGI, ми говоримо про створення нового розумного виду на Землі, який в кінцевому підсумку буде швидшим, розумнішим, краще координованим і чисельнішим, ніж люди. Нормальні люди, люди, які бачили науково-фантастичні фільми про роботів та інопланетян, люди, які вивчили історію колоніалізму та рабства, одразу зададуть тут купу резонних запитань. — Якими будуть їхні мотиви? — У кого буде важка сила? «Якщо вони здаються дружніми та готовими до співпраці на ранніх етапах, чи можуть вони вдарити нас у спину, коли стануть більш потужними?» Це чудові запитання! Ми обов'язково повинні задатися цими питаннями! (До речі, це моя сфера знань, і я дуже песимістично налаштований.) … А потім ці нормальні люди йдуть на курси економіки, і стають дурнішими. Вони перестають ставити ці питання. Замість цього вони «дізнаються», що AGI – це «капітал», щось на кшталт машини для лиття під тиском. Машини для лиття під тиском не знищили б людей і не керували б світом самостійно. Так що у нас все в порядку. Помираю від сміху.

.@paulg має бути фанатом пані Рейчел. Вони обидва використовують один і той самий трюк ухилення: розглядають два вузли (дії Ізраїлю) → (цивільні жертви) як повний причинно-наслідковий контекст, на якому можна висловити свою думку. Питання: Чи потрібно дозволяти працювати живим щитам? Відповідь: Життя кожного некомбатанта коштує однаково 🧘

Індустрія моделей AI Foundation перевищила дохід у розмірі $25 млрд на рік, що означає, що створення цінності в секторі перевищило ~$250 млрд на рік

Чому @VitalikButerin має 12% P(Doom)...