AI nie kocha cię, ani cię nie nienawidzi, ale twoje ciało składa się z wody, którą może wykorzystać do schłodzenia swojego centrum danych.

📢 NOWE DEBATY DOOM EXCLUSIVE: Wywiad z Robem Milesem (@robertskmiles), najpopularniejszym edukatorem w zakresie bezpieczeństwa AI na YouTube! Niesamowite, Rob rozpoczął swoją działalność w 2011 roku, długo przed tym, jak ChatGPT przyciągnął uwagę mediów do tej dziedziny. Rozmawiamy o: 👉 Dlaczego jego P(Doom) mieści się w przedziale 10-90%, w zależności od tego, jak ludzkość zareaguje na wyzwanie 👉 Dlaczego nawet idealnie dostosowane systemy AI mogą nie przekazywać swoich wartości systemom następnym - ogromna luka w obecnej pracy nad bezpieczeństwem 👉 Problem "brakującego nastroju": dlaczego ludzie dyskutują o potencjalnej ekstynkcji ludzkości z emocjonalną pilnością konferencji akademickiej, zamiast traktować to jak nagły przypadek, jakim jest 👉 Jego główny scenariusz zagłady przez rekurencyjne samodoskonalenie i dlaczego istnieje ogromna przestrzeń powyżej ludzkiej inteligencji 👉 Czy ludzie są "najmniej inteligentnym gatunkiem zdolnym do cywilizacji technologicznej" - i co to oznacza dla tego, co inteligentniejsze systemy mogłyby osiągnąć 👉 Nasza kluczowa różnica zdań: Rob uważa, że ludzie zajmujący się bezpieczeństwem powinni pracować w firmach AI w celu redukcji szkód, podczas gdy ja argumentuję, że to umożliwia "pranie wykonalności", które legitymizuje zasadniczo lekkomyślne przedsięwzięcia 👉 Strategia komunikacji - Rob zastanawia się, czy jego wyważone brytyjskie podejście nie pomija czegoś kluczowego, a może ktoś powinien "biegać i krzyczeć", aby przekazać odpowiednią pilność Rob spędził ponad dekadę, próbując obudzić ludzi na najważniejsze wyzwanie ludzkości. Nasza rozmowa ujawnia napięcie między rozsądną analizą a egzystencjalnym kryzysem. Gorąco polecam!

Niesamowity wywiad. Gratulacje dla @liron Bardzo mi się podobało, jak @VitalikButerin poruszył tak wiele aspektów krajobrazu AI. Jestem w 50% wywiadu i jak na razie bardzo mi się podoba!

Przygotuj się na @robertskmiles…

Jak to możliwe, że Idiokracja była tak trafna?

Jest taka zabawna rzecz, że edukacja ekonomiczna paradoksalnie sprawia, że ludzie stają się GŁUPSI w myśleniu o przyszłej AI. Podręczniki ekonomii uczą koncepcji i ram, które są świetne w większości przypadków, ale nieproduktywne w myśleniu o AGI. Oto 4 przykłady. Długi post: PIERWSZA CZĘŚĆ antypedagogiki ekonomicznej kryje się w słowach „praca” i „kapitał”. Te słowa łączą powierzchowną różnicę (człowiek z krwi i kości vs nie) z zestawem niewypowiedzianych założeń i intuicji, które zostaną złamane przez Sztuczną Inteligencję Ogólną (AGI). Przez „AGI” mam na myśli „zestaw chipów, algorytmów, energii elektrycznej i/lub zdalnie sterowanych robotów, które mogą autonomicznie wykonywać rodzaje rzeczy, które ambitni dorośli ludzie mogą robić — zakładając i prowadząc nowe firmy, badania i rozwój, ucząc się nowych umiejętności, używając dowolnych zdalnie sterowanych robotów po bardzo krótkim czasie praktyki, itd.” Tak, wiem, to jeszcze nie istnieje! (Pomimo hype'u w przeciwnym kierunku.) Spróbuj poprosić LLM, aby autonomicznie napisał plan biznesowy, założył firmę, a następnie prowadził i rozwijał ją przez lata jako CEO. Lol! To się nie uda! Ale to ograniczenie dzisiejszych LLM, a nie „wszystkich AI na zawsze”. AI, które mogłoby wykonać to zadanie i znacznie więcej, jest oczywiście możliwe — ludzkie mózgi, ciała i społeczeństwa nie są napędzane jakąś magiczną czarami, które są na zawsze poza zasięgiem nauki. Ja osobiście spodziewam się takiej AI w moim życiu, na lepsze lub gorsze. (Prawdopodobnie „gorsze”, patrz poniżej.) Teraz, czy ta AGI to „praca” czy „kapitał”? Cóż, to nie jest człowiek z krwi i kości. Ale w wielu innych aspektach jest bardziej jak „praca” niż „kapitał”: • Kapitał nie może po prostu wstać i robić rzeczy samodzielnie? AGI może. • Nowe technologie zajmują dużo czasu, aby zintegrować je z gospodarką? Cóż, zapytaj siebie: jak wysoko wykwalifikowani, doświadczeni i przedsiębiorczy imigranci potrafią natychmiast zintegrować się z gospodarką? Gdy już odpowiesz na to pytanie, zauważ, że AGI również będzie w stanie to robić. • Kapitał siedzi bezczynnie, jeśli nie ma ludzi gotowych i zdolnych go używać? Cóż, ci imigranci nie siedzą bezczynnie. I AGI też nie będzie. • Kapitał nie może domagać się praw politycznych ani przeprowadzać zamachów? Cóż… W każdym razie, ludzie oglądają filmy sci-fi o robotach i to rozumieją! Potem biorą kursy ekonomiczne i to sprawia, że stają się głupsi. (Tak, wiem, #NotAllEconomists itd.) DRUGA CZĘŚĆ antypedagogiki ekonomicznej polega na wpojeniu domyślnego założenia, że rynek może się zrównoważyć. Ale rynek AGI nie może: AGI łączy cechę rynków pracy z cechą rynków produktów, gdzie te cechy są wzajemnie wykluczające. Te cechy to: • (A) „BRAK KUPY PRACY”: Jeśli populacja ludzka wzrasta, płace spadają w bardzo krótkim okresie, ponieważ krzywa popytu na pracę opada. Ale w dłuższym okresie ludzie znajdują nowe produktywne rzeczy do zrobienia — krzywa popytu przesuwa się w prawo. Jeśli już, wartość pracy rośnie, a nie spada, wraz z populacją! Np. gęste miasta są silnikami wzrostu! • (B) „KRZYWE DOŚWIADCZENIA”: Jeśli popyt na produkt rośnie, w bardzo krótkim okresie następuje wzrost cen, ponieważ krzywa podaży rośnie. Ale w dłuższym okresie ludzie zwiększają produkcję — krzywa podaży przesuwa się w prawo. Jeśli już, cena spada, a nie rośnie, wraz z popytem, dzięki ekonomii skali i badaniom i rozwojowi. QUIZ: Biorąc pod uwagę (A) i (B), jaka jest cena równowagi tego zestawu AGI (chipów, algorytmów, energii elektrycznej, zdalnie sterowanych robotów itd.)? …Pytanie podchwytliwe! Nie ma równowagi. Nasze dwie zasady, (A) „brak kupy pracy” i (B) „krzywe doświadczenia”, uniemożliwiają równowagę: • Jeśli cena jest niska, (A) mówi, że krzywa popytu pędzi w prawo — nie ma kupy pracy, więc jest ogromny zysk do zrobienia przez wykwalifikowane przedsiębiorcze AGI, które znajdują nowe produktywne rzeczy do zrobienia. • Jeśli cena jest wysoka, (B) mówi, że krzywa podaży pędzi w prawo — jest ogromny zysk do zrobienia przez zwiększenie produkcji AGI. • Jeśli cena jest pomiędzy, to krzywa popytu i krzywa podaży OBIE pędzą w prawo! To nie jest ani kapitał, ani praca, jaką znamy. Zamiast rynku AGI równoważącego się, tworzy się dodatnia pętla sprzężenia zwrotnego / perpetuum mobile, która eksploduje wykładniczo. Czy to brzmi absurdalnie? Jest precedens: ludzie! Świat ludzki jako całość jest już dodatnią pętlą sprzężenia zwrotnego / perpetuum mobile tego typu! Ludzie podnieśli się z kilku tysięcy homininów do 8 miliardów ludzi prowadzących gospodarkę o wartości 80 bilionów dolarów. Jak? To nie jest dosłownie perpetuum mobile. Raczej jest to silnik, który czerpie z zasobów „jeszcze nie wykorzystanych możliwości ekonomicznych”. Ale pamiętaj „Brak Kupy Pracy”: zasoby jeszcze nie wykorzystanych możliwości ekonomicznych są ~nieskończone głębokie. Nie wyczerpaliśmy jeszcze możliwych firm do założenia. Nikt jeszcze nie stworzył roju Dysona. Jest tylko tyle ludzi, aby zakładać firmy i wykorzystywać nowe możliwości. Ale dodatnia pętla sprzężenia zwrotnego AGI nie ma takiego ograniczenia. Czas podwajania może być rzeczywiście krótki: Wyobraź sobie autonomiczną fabrykę, która może zbudować identyczną autonomiczną fabrykę, która następnie zbuduje dwie kolejne, itd., używając tylko powszechnie dostępnych materiałów i światła słonecznego. Podręczniki ekonomii o tym nie mówią. Ale podręczniki biologii tak! Cyjanobakteria jest taką fabryką i może podwoić się w ciągu dnia (≈ googol procent rocznej stopy wzrostu 😛). W każdym razie, nie wiemy, jak eksplozjowy będzie pozytywny feedback loop AGI budującej AGI, ale spodziewam się, że będzie to lata świetlne poza wszystkim, co widzieliśmy w historii ekonomii. TRZECIA CZĘŚĆ antypedagogiki ekonomicznej to promowanie wzrostu PKB jako wskaźnika postępu i zmiany. Przeciwnie, możliwe jest, aby świat przekształcił się w dziki sci-fi kraj, który nie przypomina niczego, co znamy, miesiąc po miesiącu, bez „wzrostu PKB” wcale nie będącego tak wysokim. PKB to zabawna miara, a szczególnie słaba w opisywaniu wpływu transformacyjnych rewolucji technologicznych. (Na przykład, jeśli jakaś nowa technologia jest niedroga, a tymczasem inne sektory gospodarki pozostają drogie z powodu regulacyjnych ograniczeń, to nowa technologia może nie mieć dużego wpływu na PKB, niezależnie od tego, jak bardzo zmienia świat.) Mam na myśli, że możemy dyskutować o PKB, ale nie powinniśmy traktować go jako bitwy zastępczej o to, czy AGI będzie dużą sprawą, czy nie. Ostatnia i najważniejsza, CZWARTA CZĘŚĆ antypedagogiki ekonomicznej to skupienie się na „wzajemnie korzystnych wymianach” zamiast na „zabijaniu ludzi i braniu ich rzeczy”. Ekonomia 101 dowodzi, że handel jest egoistycznie lepszy niż izolacja. Ale czasami „zabijanie ludzi i branie ich rzeczy” jest egoistycznie najlepsze ze wszystkich. Kiedy mówimy o AGI, mówimy o stworzeniu nowego inteligentnego gatunku na Ziemi, który ostatecznie będzie szybszy, mądrzejszy, lepiej skoordynowany i liczniejszy niż ludzie. Normalni ludzie, ludzie, którzy widzieli filmy sci-fi o robotach i obcych, ludzie, którzy poznali historię kolonializmu i niewolnictwa, natychmiast zadadzą wiele rozsądnych pytań. „Jakie będą ich motywy?” „Kto będzie miał twardą władzę?” „Jeśli na początku będą wydawać się przyjaźni i współpracujący, czy mogą nas zdradzić, gdy staną się potężniejsi?” To doskonałe pytania! Zdecydowanie powinniśmy zadawać te pytania! (Dla jasności, to jest moja dziedzina specjalizacji i jestem bardzo pesymistyczny.) …A potem ci normalni ludzie biorą lekcje ekonomii i stają się głupsi. Przestają zadawać te pytania. Zamiast tego „uczą się”, że AGI to „kapitał”, trochę jak maszyna do wtrysku. Maszyny do wtrysku nie zlikwidują ludzi i nie będą rządzić światem same. Więc jesteśmy w porządku. Lol.

.@paulg musi być fanem pani Rachel. Oni oboje używają tej samej wymijającej sztuczki: traktując dwa węzły (działania izraelskie)→(ofiary cywilne) jako cały kontekst przyczynowy, na którym można się wypowiadać. Q: Czy należy pozwolić na używanie ludzkich tarcz? A: Życie każdego cywila jest warte tyle samo 🧘

Przemysł modeli podstawowych AI osiągający przychody na poziomie 25 miliardów dolarów rocznie oznacza, że wartość tworzona w tym sektorze przekroczyła około 250 miliardów dolarów rocznie.

Dlaczego @VitalikButerin ma 12% P(Doom)…

Możesz spowodować u kogoś z roku 2000 wstrząs, pokazując mu globalny sukces produkcyjny, jakim jest nowoczesny wózek Target, a następnie wyjaśniając, że teraz oczekuje się od nas noszenia wszystkich tych rzeczy w torbach z papieru.