Něco jsem o tom psal, ale viděl jsem, @anton_d_leicht mě v tom předběhl (a odvedl v tom mnohem lepší práci!). Takže jen přidám své neúplné myšlenky, některé se překrývají s jeho: ----- O příchodu pokročilejší umělé inteligence jsem toho napsal slušného dost. Ale i když si stále myslím, že je pravděpodobné, že se v příštích dvou desetiletích dočkáme něčeho jako "AGI", myslím si také, že je pravděpodobné, že mezi tím budeme mít něco jako "zimu umělé inteligence". Tak proč o tom nenapsat taky? Myslím, že je to důležité, a to z následujících důvodů: Zima umělé inteligence NEMUSÍ být příliš informativní o tom, zda v delším horizontu (desetiletí místo let) směřujeme k něčemu jako AGI. Většina lidí bude vnímat zimu s umělou inteligencí jako velmi informativní o proveditelnosti AGI. – Výsledek, na kterém záleží, je AGI, ne to, zda je před ním zima umělé inteligence. Na vnímání většiny lidí (a politiků) záleží. Zima v oblasti umělé inteligence (a následné prasknutí investiční bubliny) by mohla vytvořit období, kdy se veškeré řeči o rizicích a přínosech budoucí pokročilé umělé inteligence stanou zcela radioaktivními. Pokud bude hlavní trend směrem k obecné inteligenci pokračovat, zatímco v politice nedosáhneme pokroku, budeme mít méně času na pozitivní formování vývoje umělé inteligence [ Představte si tento pesimistický scénář: Píše se rok 2028. Věci, které dříve fungovaly, už nefungují. Škálování předtréninku začalo v roce 2025 přinášet výrazně klesající výnosy. Následovala škálovací inference. Syntetická data nějakou dobu fungovala, ale pouze způsobila, že modely konvergovaly blízko nového stropu. Došlo k několika dalším inovacím, díky nimž jsou LLM inteligentnější a užitečnější. Ale stále jsou to jen LLM, dost křehcí a nejsou úplně dobří v automatizaci úloh, i když jim automatizace psaní úkolů nevadí. Agenti postupují pomaleji, než se očekávalo. Ukázalo se, že učení se z textu pod vlastním dohledem bylo obzvláště snadné vygenerovat. Učení pod vlastním dohledem při používání počítače a RL je mnohem obtížnější správně nastavit. Lidé v nich vytvářejí obrovské simulace a trénují agenty, ale ty se poměrně špatně zobecňují. Lidé poukazují na věci jako AI 2027 a vidí takovou propast mezi "očekáváním" a realitou, že říkají, že to byl jen humbuk. Laboratoře umělé inteligence již nemohou ospravedlnit obrovské tréninkové běhy; výpočetní prostředky budou jen promarněny pro stále menší okrajová vylepšení. Možná jsme měli pár průlomů v délce kontextu a neustálém učení, ale to nestačí. Investice do umělé inteligence prudce klesají. Takže výzkum a vývoj také klesá. Mluvit o budoucnosti umělé inteligence se stává radioaktivním. Jakékoli spekulace o budoucích schopnostech jsou přehlušovány "realisty", kteří poukazují na posledních několik let neuspokojivého pokroku. V tomto scénáři, v roce 2028, by to mnohým (většině?) připadalo jako konec příběhu. Umělá inteligence je dobrá, ale vždycky měla být jen tak dobrá. A to je vše. To znamená žádné AGI, žádné transformační dopady, žádný zlatý věk pokroku a samozřejmě žádná rizika horší než deepfakes. Jak dlouho by ale zima s umělou inteligencí trvala? Je možné, že to bude trvat věčně, nebo alespoň několik desetiletí. Navzdory pravděpodobnosti odvozené z trendů počátku 20. století můžeme narazit na fundamentální limit. Odborníci nás nakonec informují, že analogie mezi mozkem a GPU byla příliš hrubá – což jsme už všichni věděli – ale ukázalo se, že rozdíly jsou důležité pro přechod od prediktoru textu k obecnému agentovi. Nebo jsme potřebovali kvantové procesy v mozku, abychom vytvořili vědomé místo pozornosti, což – jak se ukázalo – bylo nezbytné k tomu, aby fungoval ten nejvyšší řád. Nebo to nebyly kvantové procesy jako takové, ale vysoce propojený "hardware", který mozek poskytuje a který lze simulovat v převážně paralelním zpracování, které GPU provádějí. Ale opět, jak se ukazuje, tyto simulace nestačí a ve skutečnosti potřebujeme neuromorfní čipy k vytvoření schopných agentů, a ty nebudou k dispozici dalších pět desetiletí. Nemusíte si myslet, že některý z těchto konkrétních příběhů o selhání je věrohodný, abyste si mysleli, že nám může chybět nějaká ingredience v receptu AGI a že může být těžké nebo nemožné tuto ingredienci získat v tomto století, stejně jako tomu bylo každé století před tímto. Zima s umělou inteligencí však může být také krátká. Už jsme zvyklí na skokové zvyšování schopností, kdy mezi velkými tréninkovými běhy dostáváme několik působivých aktualizací. Pokud se několik tréninkových běhů nevydaří podle očekávání, znamená to jen, že uvízneme v mnohem delší plošině, zatímco se ingredience pro další skokovou změnu sestaví a nahromadí na potřebnou hranici. Přesto by delší než očekávané období nevýrazného pokroku mohlo vyvolat mnoho stejných procesů jako delší zima. "Škálovací zákony" jsou empirickým pozorováním, nikoli inherentním faktem o světě. Trendy mohou absolutně skončit nebo se výrazně zpomalit. Protože většina lidí – a zejména většina "outsiderů", kteří nesledují pokrok v AI – má tendenci podceňovat důležitost těchto trendů, lidé pracující na AI se někdy negativně polarizují a stávají se příliš absolutistickými (zde satiricky) [ ohledně prediktivní síly zákonů škálování. Ano, mohli bychom být v další situaci podle Moorova zákona [se schopnostmi umělé inteligence. Ale mnoho zdánlivě stabilních trendů se časem zastaví – Moorův zákon si pamatujeme právě proto, že je výjimečný. A konečně, zima s umělou inteligencí nemusí vůbec přijít. Můžeme získat neustále se zlepšující hranice umělé inteligence, a to navzdory pravidelným "lekačkám", kdykoli se zdá, že umělá inteligence narazí do zdi těsně předtím, než ji prorazí. Nebo se můžeme dočkat zlepšující se hranice, protože velká část "bubliny" pro obalové společnosti a menší startupy v oblasti umělé inteligence praskne. Výsledek je: existuje základní trend [směrem ke stále obecnější inteligenci. A právě na tomto trendu záleží. Ne to, zda nás tam dostanou LLM, nebo zda se tam dostaneme s dočasnou AI zimou mezi tím, nebo bez ní. Naše mozky jsou důkazem, že obecné uvažování je dosažitelné, a dnešní systémy umělé inteligence jsou důkazem, že naše uvažování lze užitečně přiblížit (ať už je to "skutečné uvažování" nebo ne) ve velmi složitých oblastech. Je možné, že některé z nejpesimističtějších předpovědí, které jsem nastínil výše, jsou správné, jako například narážení na základní limity strojové inteligence. Zdá se však, že tlakový hrnec exponenciálně rostoucích výpočtů, tréninkových dat a tisíců géniů pracujících na nových algoritmech nakonec povede k pokročilé inteligenci. A pokud to chceme udělat správně, měli bychom se na to zaměřit, spíše než na výsledky, které s tím pouze korelují. Má smysl vynaložit hodně úsilí a přemýšlení na výsledky, kde rychle dosáhneme transformativní umělé inteligence. Ale nevybírejte si nepodstatné kopce, na kterých zemřete [ Když už mluvíme o tom, co se stane, když bublina praskne? Selže Anthropic spolu s dalšími laboratořemi umělé inteligence, které nemají diverzifikovanější příjmy jako Google DeepMind nebo Meta? Kam půjdou zaměstnanci XAI, pokud dojde k velkému exodu? Byly by alespoň některé z frontier labs schopny pokračovat v posouvání hranic, i kdyby většina menších startupů a investic zkrachovala? Měli bychom to zkusit zjistit, stejně jako se snažíme zjistit, co dělat za předpokladu, že trendy budou pokračovat. Pokud máte nápady, moje DM jsou otevřené.