Pisałem coś na ten temat, ale widzę, że @anton_d_leicht mnie wyprzedził (i zrobił to znacznie lepiej!). Więc dodam tylko moje niekompletne myśli, częściowo pokrywające się z jego: ----- Napisałem sporo na temat nadchodzącej bardziej zaawansowanej AI. Ale chociaż nadal uważam, że prawdopodobne jest, że w ciągu następnych dwóch dekad otrzymamy coś w rodzaju "AGI", myślę również, że prawdopodobne jest, że w międzyczasie doświadczymy czegoś w rodzaju "zimy AI". Więc czemu nie napisać o tym również? Uważam, że to ważne, z następujących powodów: – Zima AI może NIE być bardzo informacyjna w kwestii tego, czy w dłuższej perspektywie (dekady zamiast lat) zmierzamy w kierunku czegoś w rodzaju AGI. – Większość ludzi POSTRZEGA zimę AI jako bardzo informacyjną w kwestii wykonalności AGI. – Wynik, który ma znaczenie, to AGI, a nie to, czy przed nim wystąpi zima AI. Percepcje większości ludzi (i decydentów) mają znaczenie. Zima AI (i wynikający z niej pęknięcie bańki inwestycyjnej) może stworzyć okres, w którym jakiekolwiek rozmowy na temat ryzyk i korzyści związanych z przyszłą zaawansowaną AI stają się całkowicie radioaktywne. Jeśli główny trend w kierunku inteligencji ogólnej będzie się utrzymywał, podczas gdy nie poczynimy postępów w polityce, będziemy mieli mniej czasu na pozytywne kształtowanie rozwoju AI [ Wyobraź sobie ten pesymistyczny scenariusz: Rok 2028. Rzeczy, które kiedyś działały, już nie działają. Skalowanie wstępnego uczenia zaczęło przynosić silnie malejące zwroty w 2025 roku. Skalowanie wnioskowania poszło w tym samym kierunku. Syntetyczne dane działały przez jakiś czas, ale tylko sprawiły, że modele zbiegały się w pobliżu nowego sufitu. Kilka dalszych innowacji miało miejsce, czyniąc LLM-y bardziej inteligentnymi i użytecznymi. Ale wciąż są tylko LLM-ami, dość kruchymi i niezbyt dobrymi w automatyzacji pracy, nawet jeśli radzą sobie z automatyzacją zadań pisarskich. Agenci postępują wolniej niż przewidywano. Okazuje się, że samonadzorowane uczenie się z tekstu było szczególnie łatwym sygnałem do generowania. Samonadzorowane uczenie się w użyciu komputera i RL jest znacznie trudniejsze do odpowiedniego skonfigurowania. Ludzie tworzą ogromne symulacje i trenują w nich agentów, ale te generalizują stosunkowo słabo. Ludzie wskazują na rzeczy takie jak AI 2027 i widzą taką przepaść między "oczekiwaniami" a rzeczywistością, że mówią, że to była tylko hype. Laboratoria AI nie mogą już uzasadnić ogromnych sesji treningowych; obliczenia po prostu marnują się na coraz mniejsze marginalne poprawki. Może mieliśmy kilka przełomów w długości kontekstu i uczeniu się ciągłym, ale to nie wystarczy. Inwestycje w AI spadają. Więc R&D również spada. Rozmowy o przyszłości AI stają się radioaktywne. Jakiekolwiek spekulacje na temat przyszłych możliwości są zagłuszane przez "realistów", którzy wskazują na ostatnie kilka lat rozczarowującego postępu. W tym scenariuszu, w 2028 roku, dla wielu (większości?) wyglądałoby to jak koniec historii. AI jest dobra, ale zawsze miała być tylko tak dobra. I to wszystko. To oznacza brak AGI, brak transformacyjnych wpływów, brak złotej ery postępu, a oczywiście brak ryzyk gorszych niż deepfake. Ale jak długo mogłaby trwać zima AI? Możliwe, że trwałaby wiecznie, lub przynajmniej kilka dekad. Wbrew szansom wynikającym z trendów z początku XX wieku, możemy osiągnąć fundamentalny limit. Eksperci kończą informując nas, że analogia mózg-GPU była zbyt ogólna — co wszyscy już wiedzieliśmy — ale okazuje się, że różnice mają znaczenie przy przechodzeniu od predyktora tekstu do ogólnego agenta. Albo potrzebowaliśmy procesów kwantowych w mózgu, aby wygenerować świadomy punkt uwagi, co — okazuje się — było konieczne do uzyskania najwyższego poziomu funkcjonowania. Albo to nie były procesy kwantowe per se, ale wysoko połączony "sprzęt", który mózg zapewnia, który można symulować w głównie równoległym przetwarzaniu, które wykonują GPU. Ale znowu okazuje się, że te symulacje nie są wystarczające i naprawdę potrzebujemy neuromorficznych chipów, aby stworzyć zdolnych agentów, a te nie będą dostępne przez kolejne pięć dekad. Nie musisz uważać, że którakolwiek z tych szczególnych historii o porażkach jest prawdopodobna, aby myśleć, że możemy przegapić jakiś składnik w przepisie na AGI, a składnik ten może być trudny lub niemożliwy do zdobycia w tym wieku, tak jak to było w każdym wieku przed tym. Zima AI może być również krótka. Jesteśmy przyzwyczajeni do skokowego wzrostu możliwości, gdzie otrzymujemy niewiele imponujących aktualizacji pomiędzy dużymi sesjami treningowymi. Jeśli kilka sesji treningowych nie przyniesie oczekiwanych rezultatów, oznacza to, że utknęliśmy na znacznie dłuższym płaskowyżu, podczas gdy składniki do następnej zmiany kroku gromadzą się i osiągają niezbędny próg. Mimo to, dłuższy niż oczekiwany okres niezadowalającego postępu mógłby wywołać wiele z tych samych procesów dłuższej zimy. "Prawo skalowania" to empiryczna obserwacja, a nie inherentny fakt o świecie. Trendy mogą absolutnie zakończyć się lub znacznie spowolnić. Ponieważ większość ludzi — a zwłaszcza większość "zewnętrznych" osób, które nie śledzą postępu AI — ma tendencję do niedoceniania znaczenia tych trendów, osoby pracujące nad AI czasami stają się negatywnie spolaryzowane i zbyt absolutystyczne (tutaj satyrycznie) [ w odniesieniu do mocy predykcyjnej praw skalowania. Tak, możemy być w kolejnej sytuacji Moore'a [ z możliwościami AI. Ale wiele pozornie stabilnych trendów zatrzymuje się z czasem — pamiętamy Prawo Moore'a dokładnie dlatego, że jest wyjątkowe. Wreszcie, może wcale nie nadejdzie [ zima AI. Możemy uzyskać stale poprawiającą się granicę AI pomimo regularnych "strachów", gdy AI wydaje się uderzać w ścianę tuż przed jej przełamaniem. Lub możemy uzyskać poprawiającą się granicę, gdy wiele "bańki" dla firm opakowujących i mniejszych startupów AI pęka. Podsumowując: istnieje podstawowy trend [ w kierunku coraz bardziej ogólnej inteligencji. I to ten trend ma znaczenie. Nie to, czy LLM-y doprowadzą nas tam, czy czy dotrzemy tam z lub bez tymczasowej zimy AI pomiędzy. Nasze mózgi są dowodem na to, że ogólne rozumowanie jest osiągalne, a dzisiejsze systemy AI są dowodem na to, że nasze rozumowanie można użytecznie przybliżyć (czy to "prawdziwe rozumowanie", czy nie) w bardzo złożonych dziedzinach. Możliwe, że niektóre z najbardziej pesymistycznych prognoz, które przedstawiłem powyżej, są poprawne, jak osiągnięcie fundamentalnych limitów inteligencji maszynowej. Ale ciśnienie rosnące z wykładniczo zwiększającego się obliczenia, danych treningowych i tysięcy geniuszy pracujących nad nowymi algorytmami wydaje się ostatecznie prowadzić do zaawansowanej inteligencji. A jeśli chcemy to dobrze zrobić, lepiej skupić się na tym, a nie na wynikach, które jedynie korelują z tym. Ma sens włożyć dużo wysiłku i myśli w wyniki, w których szybko uzyskujemy transformacyjną AI. Ale nie wybieraj nieistotnych wzgórz, na których chcesz umrzeć [ Mówiąc o tym, co się stanie, jeśli bańka pęknie? Czy Anthropic upadnie, obok innych laboratoriów AI, które nie mają bardziej zróżnicowanych dochodów, jak Google DeepMind czy Meta? Gdzie pójdą pracownicy XAI, jeśli nastąpi duża ewakuacja? Czy przynajmniej niektóre z laboratoriów na granicy będą w stanie kontynuować przesuwanie granicy, nawet jeśli wiele mniejszych startupów i inwestycji zbankrutuje? Lepiej spróbujmy to ustalić, tak jak próbujemy ustalić, co robić, zakładając, że trendy się utrzymują. Jeśli masz pomysły, moje DM są otwarte.