NOWY DOKUMENT: LLM-y są niesamowite w wyjaśnianiu rzeczy i okropne w ich wykonywaniu. Zapytaj model "jak" porównać dwie liczby dziesiętne, a on poda ci doskonały algorytm krok po kroku. Zapytaj go, aby faktycznie "wykonał" porównanie… a nagle „9.11 jest większe niż 9.9, ponieważ 90 jest większe niż 11.” Badacze nazywają to "syndromem rozdzielonego mózgu obliczeniowego". LLM-y rozwijają jedną ścieżkę do wyjaśniania procedury, a zupełnie inną do jej wykonania. Te dwie ścieżki znajdują się w różnych częściach geometrii modelu (jak pokazano na wykresach t-SNE na stronach 14–16 tego dokumentu) i nie komunikują się ze sobą. Dlatego model może nauczyć cię dzielenia długiego, ale nie potrafi tego robić niezawodnie. Albo dlaczego potrafi artykułować zasady logiczne, a jednocześnie nie radzi sobie z podstawowym wnioskowaniem. Albo dlaczego produkuje bezbłędny język i kruchą logikę. Wyjaśnienie to przypomnienie wzorców. Wykonanie to obliczenia. LLM-y doskonale radzą sobie z pierwszym, a zasadniczo mają trudności z drugim. Głęboko w architekturze, osadzenia zacierają znaczenia, które ludzie trzymają oddzielnie. Dokument podaje zabawny przykład: „9.11” znajduje się bliżej „11 września” niż „dziewięć przecinek jedenaście”, ponieważ osadzenia tokenów uśredniają wszystkie konteksty, które widziały. Ta „kontaminacja kontekstowa” uniemożliwia czyste rozumowanie symboliczne. Ponadto... Transformatory mogą tylko produkować „ważone średnie” tego, co widziały. Nie mogą generować nowych wartości symbolicznych, takich jak „3354” z „43 × 78” przy użyciu rzeczywistej matematyki. Ich sieci feed-forward wkraczają, ale FFN-y są liniowe kawałkami, co oznacza, że dosłownie nie mogą wdrożyć dokładnej arytmetyki. Najlepsze, co mogą zrobić, to przybliżać lub zapamiętywać wzorce (udowodnione formalnie w Apendyksie A). W rezultacie brzmią kompetentnie, ale zachowują się niekompetentnie. LLM-y mogą doskonale opisać algorytm mnożenia, ponieważ widziały miliony wyjaśnień. Ale gdy poprosisz je o "wykonanie" algorytmu, wracają do heurystyk uzupełniania wzorców, innymi słowy, fragmentów półzapomnianej arytmetyki, zszytych razem z pewnością. To rozróżnienie ma znaczenie, ponieważ ludzie mylą „wyjście przypominające zrozumienie” z kompetencją. Model, który daje szczegółowe wyjaśnienie, jak rozwiązać zagadkę logiczną, "wydaje się" inteligentny. Ale jak pokazują eksperymenty w arytmetyce, rozumowaniu relacyjnym i zadaniach symbolicznych, ta ścieżka instrukcji nigdy nie łączy się ze ścieżką wykonania. Są geometrycznie rozdzielone; nawet doskonałe wyjaśnienia nie poprawiają wykonania. I to jest prawdziwa lekcja dla każdego, kto buduje z LLM-ami: "Używaj ich jako krytyków, a nie kalkulatorów." Jeśli chcesz wglądu, ramowania, perspektywy, diagnozy, wyjaśnienia... LLM-y są zaskakująco dobre. Jeśli chcesz poprawnego rozumowania wieloetapowego lub precyzji symbolicznej: skieruj się do narzędzia, zorganizowanego systemu lub hybrydowej architektury. Innymi słowy: LLM-y są spektakularne w mówieniu ci *jak* zrobić daną rzecz. Ale wciąż potrzebują czegoś innego, aby faktycznie "zrobić" tę rzecz. Pełny dokument możesz przeczytać tutaj:

Elon Musk mówi, że praca wkrótce będzie "opcjonalna". Roboty i AI wyeliminują prace niefizyczne, tworząc "Uniwersalny Wysoki Dochód", gdzie każdy dostaje to, czego chce. Jednak praca z Yale pokazuje, że ekonomia stojąca za jego prognozą jest znacznie bardziej brutalna, niż sugeruje. Mówię o pracy zatytułowanej "Nie Będziemy Tęsknić." Wnioskuje: "Połowa siły roboczej mogłaby przestać pracować jutro, a PKB by się nie zmieniło." i.e. ludzie stają się ekonomicznie bezsensowni. Praca dzieli się na dwie kategorie: 1) Praca wąskiego gardła Ta praca jest niezbędna dla wzrostu. Produkcja energii, logistyka, odkrycia naukowe i infrastruktura. Gospodarka nie może rosnąć, chyba że ta praca się rozwija. 2) Praca dodatkowa Jest nieistotna. Sztuka, gościnność, terapia i wykwintna kuchnia. Miło jest mieć, ale nie jest wymagana do wzrostu. AGI systematycznie przejmuje wszystko, co jest kluczowe dla misji. Niektóre prace dodatkowe pozostają ludzkie, nie dlatego, że AGI nie może ich wykonać, ale ponieważ mamy nadmiar pracowników i nie opłaca się to obliczeniowo. Innymi słowy, twoja przyszła pensja będzie oparta na kosztach obliczeniowych replikacji twojej pracy. W miarę jak obliczenia stają się coraz tańsze, twój sufit płacowy spada. Gospodarka rośnie, wydajność wzrasta, ale twoja wartość jest związana z malejącymi kosztami technologicznymi. Praca z Yale zakończyła: Udział pracy w PKB zbiega do zera. Wszystkie dochody trafiają do właścicieli zasobów obliczeniowych. Szybkość przejścia decyduje o tym, jak bolesne to będzie. Jeśli technologia rozwija się szybciej niż obliczenia, mamy ząbkowane zakłócenia, z niektórymi pracownikami otrzymującymi ogromne premie przed załamaniem. Jeśli obliczenia rozwijają się szybciej, mamy stopniowy, przewidywalny spadek płac. Moim zdaniem, jest tu paradoks, który Musk przeoczył. Praca będąca "opcjonalną" to iluzja. Ludzie potrzebują pracy, może nie dla przetrwania, ale dla celu. Pytanie egzystencjalne brzmi: Czy ludzie nadal wybieraliby pracę, gdy jest ekonomicznie bezsensowna... i gdy twój wkład nie ma znaczenia dla postępu czy dobrobytu?

ChatGPT właśnie zakazał porad medycznych i prawnych Nie może już udzielać konsultacji, które wymagają profesjonalnych licencji, takich jak porady medyczne, prawne czy finansowe. To ogromna nadmierna reakcja, która sprawiła, że internet stał się mniej bezpieczny, udając, że chroni ludzi. Wyobraź sobie samotną matkę na obszarach wiejskich, która nie może sobie pozwolić na wizytę u dermatologa za 200 dolarów, aby zidentyfikować wysypkę u swojego dziecka. Mogłaby skorzystać z ChatGPT, uzyskać wskazówki dotyczące potencjalnych leczeń, zaoszczędzić pieniądze i długą podróż. Jest wiele takich przypadków ludzi, którzy korzystają z GPT, aby zdiagnozować swoje problemy zdrowotne, zanim dotrą do lekarzy. (Możesz je znaleźć na Reddit) Niestety... Nowa polityka OpenAI nie rozróżnia między "zastępuje profesjonalną opiekę" a "poprawia dostęp do informacji." Zakazuje obu. Ich problem to paranoja związana z odpowiedzialnością. Chronią się przed pozwami. Tymczasem ludzie, którzy nie mają dostępu do opieki zdrowotnej, zasobów prawnych lub podstawowej wiedzy medycznej, właśnie stracili swoje najłatwiej dostępne narzędzie. Patrz, pochodzę z rodziny lekarzy. Moja mama jest farmaceutką, moja siostra jest gastroenterologiem, jej mąż jest urologiem, a mój brat jest dentystą. Wiem z pierwszej ręki, że AI ich nie zastąpi. To zakazanie nie "powstrzyma" zastąpienia i całkowicie mija się z celem. Ten zakaz blokuje dostęp do podstawowych informacji, które pomagają ludziom wiedzieć, kiedy potrzebują prawdziwego lekarza. Zastanów się nad absurdem przez chwilę. ChatGPT potrafi pisać kod, który obsługuje elektrownie jądrowe, ale nie może powiedzieć ci, kiedy udać się do lekarza z bólem w klatce piersiowej. Dużo lepszym podejściem byłoby posiadanie jasnych zastrzeżeń, wskaźników pewności i wyraźnych granic ("To jest informacyjne, a nie diagnostyczne"). Zamiast tego OpenAI wybrało opcję zakazu wszystkiego, co wymaga licencji. Niezamierzonym skutkiem tego działania jest to, że ludzie nie przestaną zadawać tych pytań. (Wiem, że ja nie przestanę) Po prostu będą korzystać z gorszych źródeł, takich jak nieuregulowane fora zdrowotne, podejrzane strony internetowe, lub całkowicie unikną pomocy. To zabawne, jak każda próba uczynienia internetu "bezpieczniejszym" w rzeczywistości czyni go mniej bezpiecznym.