Je zou *kunnen denken* dat dit onomstotelijk het bestaan van hoge algemene intelligentie bewijst, maar het laat eigenlijk alleen zien dat het mogelijk is om een specifieke combinatie van vaardigheden te leren van de cultuur om je heen. De juiste trainingsdata stelt je in staat om de volgende stap in het bouwen van een schone kamer te patronen.

De AI houdt niet van je, noch haat het je, maar je lichaam is gemaakt van water dat het kan gebruiken om zijn datacenter te koelen.

📢 NIEUWE DOOM DEBATES EXCLUSIEF: Een interview met Rob Miles (@robertskmiles), de populairste AI-veiligheidsonderwijzer op YouTube! Verbazingwekkend genoeg begon Rob in 2011, lang voordat ChatGPT mainstream aandacht voor het veld bracht. We praten over: 👉 Waarom zijn P(Doom) tussen de 10-90% ligt, afhankelijk van hoe de mensheid op de uitdaging reageert 👉 Waarom zelfs perfect afgestemde AI-systemen mogelijk hun waarden niet doorgeven aan opvolgende systemen - een enorme blinde vlek in het huidige veiligheidswerk 👉 Het "ontbrekende humeur" probleem: waarom mensen de potentiële menselijke uitsterving bespreken met de emotionele urgentie van een academische conferentie in plaats van het te behandelen als de noodsituatie die het is 👉 Zijn belangrijkste doemscenario door middel van recursieve zelfverbetering, en waarom er enorme ruimte boven menselijke intelligentie is 👉 Of mensen de "minst intelligente soort zijn die in staat is tot technologische beschaving" - en wat dat betekent voor wat slimmere systemen zouden kunnen bereiken 👉 Onze belangrijkste onenigheid: Rob denkt dat veiligheidsexperts binnen AI-bedrijven moeten werken voor schadebeperking, terwijl ik betoog dat dit "tractability-washing" mogelijk maakt dat fundamenteel roekeloze ondernemingen wordt gelegitimeerd 👉 Communicatiestrategie - Rob vraagt zich af of zijn gematigde Britse benadering iets cruciaals mist, en misschien moet iemand "rondrennen en schreeuwen" om de juiste urgentie over te brengen Rob heeft meer dan een decennium geprobeerd mensen wakker te schudden voor de belangrijkste uitdaging van de mensheid. Ons gesprek onthult de spanning tussen redelijke analyse en existentiële noodsituatie. Zeer aanbevolen!

Incredible interview. Gefeliciteerd aan @liron Ik vond het geweldig om @VitalikButerin zoveel aspecten van het AI-landschap te horen bespreken. Ik ben 50% door het interview en geniet er tot nu toe van!

Maak je klaar voor @robertskmiles…

Hoe was Idiocracy zo nauwkeurig?

Er is iets grappigs aan de hand: economische educatie maakt mensen paradoxaal genoeg DUMBER in het nadenken over toekomstige AI. Economische handboeken leren concepten en kaders die geweldig zijn voor de meeste dingen, maar contraproductief voor het denken over AGI. Hier zijn 4 voorbeelden. Lang bericht: DE EERSTE STUK van Econ anti-pedagogie verstopt zich in de woorden "arbeid" en "kapitaal". Deze woorden verdoezelen een oppervlakkig verschil (vlees-en-bloed mens vs niet) met een bundel onuitgesproken aannames en intuïties, die allemaal gebroken zullen worden door Artificial General Intelligence (AGI). Met "AGI" bedoel ik hier "een bundel chips, algoritmen, elektriciteit en/of teleoperated robots die autonoom de soorten dingen kunnen doen die ambitieuze menselijke volwassenen kunnen doen—het oprichten en runnen van nieuwe bedrijven, R&D, het leren van nieuwe vaardigheden, het gebruiken van willekeurige teleoperated robots na zeer weinig oefening, enzovoort." Ja, ik weet het, dit bestaat nog niet! (Ondanks de hype in tegendeel.) Probeer een LLM te vragen om autonoom een businessplan te schrijven, een bedrijf op te richten en het vervolgens jarenlang als CEO te runnen en te laten groeien. Lol! Het zal crashen en branden! Maar dat is een beperking van de LLM's van vandaag, niet van "alle AI voor altijd". AI die die taak kan uitvoeren, en veel meer daarbuiten, is duidelijk mogelijk—menselijke hersenen en lichamen en samenlevingen worden niet aangedreven door een of andere magische toverij die voor altijd buiten het bereik van de wetenschap ligt. Ik verwacht zo'n AI in mijn leven, voor beter of slechter. (Waarschijnlijk "slechter", zie hieronder.) Nu, is deze soort AGI "arbeid" of "kapitaal"? Nou, het is geen vlees-en-bloed mens. Maar het is in veel andere opzichten meer als "arbeid" dan "kapitaal": • Kapitaal kan niet zomaar zelf dingen doen? AGI kan dat. • Nieuwe technologieën hebben veel tijd nodig om in de economie te integreren? Vraag jezelf dan af: hoe slagen hoogopgeleide, ervaren en ondernemende immigranten erin om zich onmiddellijk in de economie te integreren? Zodra je die vraag hebt beantwoord, merk dan op dat AGI die dingen ook zal kunnen doen. • Kapitaal blijft idle als er geen mensen zijn die bereid en in staat zijn om het te gebruiken? Nou, die immigranten zitten niet idle. En AGI ook niet. • Kapitaal kan geen politieke rechten bepleiten, of coups lanceren? Nou… Hoe dan ook, mensen zien sci-fi robotfilms, en ze begrijpen dit! Dan volgen ze economische cursussen, en dat maakt ze dommer. (Ja, ik weet het, #NotAllEconomists enz.) DE TWEEDE STUK van Econ anti-pedagogie is het inprenten van een standaardveronderstelling dat het mogelijk is voor een markt om te equilibreren. Maar de markt voor AGI kan dat niet: AGI combineert een eigenschap van arbeidsmarkten met een eigenschap van productmarkten, waarbij die eigenschappen elkaar uitsluiten. Die eigenschappen zijn: • (A) "GEEN HOEVEELHEID ARBEID": Als de menselijke bevolking toeneemt, dalen de lonen op de zeer korte termijn, omdat de vraagcurve voor arbeid naar beneden hellend is. Maar op de langere termijn vinden mensen nieuwe productieve dingen om te doen—de vraagcurve verschuift naar rechts. Als er iets is, gaat de waarde van arbeid omhoog, niet omlaag, met de bevolking! Bijv. dichte steden zijn motoren van groei! • (B) "ERVARINGSCURVEN": Als de vraag naar een product stijgt, is er op de zeer korte termijn een prijsstijging, omdat de aanbodcurve omhoog hellend is. Maar op de langere termijn verhogen mensen de productie—de aanbodcurve verschuift naar rechts. Als er iets is, gaat de prijs omlaag, niet omhoog, met de vraag, dankzij schaalvoordelen en R&D. QUIZ: Gezien (A) en (B), wat is de evenwichtsprijs van deze AGI-bundel (chips, algoritmen, elektriciteit, teleoperated robots, enz.)? …Trickvraag! Er is geen evenwicht. Onze twee principes, (A) "geen hoeveelheid arbeid" en (B) "ervaring curves", maken evenwicht onmogelijk: • Als de prijs laag is, zegt (A) dat de vraagcurve naar rechts racet—er is geen hoeveelheid arbeid, daarom is er enorme winst te behalen door bekwame ondernemende AGI's die nieuwe productieve dingen vinden om te doen. • Als de prijs hoog is, zegt (B) dat de aanbodcurve naar rechts racet—er is enorme winst te behalen door de productie van AGI op te schalen. • Als de prijs ertussenin ligt, dan racen zowel de vraagcurve als de aanbodcurve NAAR RECHTS! Dit is noch kapitaal noch arbeid zoals we het kennen. In plaats van dat de markt voor AGI equilibrerend is, vormt het een positieve feedbackloop / perpetuum mobile dat exponentieel explodeert. Klinkt dat absurd? Er is een precedent: mensen! De menselijke wereld, als geheel, is al een positieve feedbackloop / perpetuum mobile van dit type! Mensen hebben zichzelf opgetild van een paar duizend homininen naar 8 miljard mensen die een economie van $80T runnen. Hoe? Het is niet letterlijk een perpetuum mobile. Het is eerder een motor die put uit de bron van "nog-niet-exploiteerde economische kansen". Maar onthoud "Geen Hoeveelheid Arbeid": de bron van nog-niet-exploiteerde economische kansen is ~oneindig diep. We zijn niet uitgeput van mogelijke bedrijven om op te richten. Niemand heeft nog een Dyson-swarm gemaakt. Er zijn maar zoveel mensen om bedrijven op te richten en nieuwe kansen te exploiteren. Maar de positieve feedbackloop van AGI heeft geen dergelijke limiet. De verdubbelingstijd kan inderdaad kort zijn: Stel je een autonome fabriek voor die een identieke autonome fabriek kan bouwen, die vervolgens twee meer bouwt, enzovoort, met alleen maar algemeen beschikbare inputmaterialen en zonlicht. Economische handboeken praten daar niet over. Maar biologielessen doen dat! Een cyanobacterie is zo'n fabriek en kan zichzelf in een dag verdubbelen (≈ googol procent jaarlijkse groei 😛). Hoe dan ook, we weten niet hoe explosief de positieve feedbackloop van AGI die AGI bouwt zal zijn, maar ik verwacht dat het lichtjaren verder zal zijn dan alles in de economische geschiedenis. DE DERDE STUK van Econ anti-pedagogie is de promotie van BBP-groei als een proxy voor vooruitgang en verandering. Integendeel, het is mogelijk dat de wereld elke maand, maand na maand, transformeert in een wilde sci-fi wereld die niet te herkennen of te begrijpen is, zonder dat "BBP-groei" daadwerkelijk zo hoog is. BBP is een grappige maatstaf, en vooral slecht in het beschrijven van de impact van transformerende technologische revoluties. (Bijvoorbeeld, als een nieuwe technologie goedkoop is, en ondertussen andere sectoren van de economie duur blijven door regelgevende beperkingen, dan kan de nieuwe technologie niet veel impact hebben op het BBP, ongeacht hoezeer het de wereld op zijn kop zet.) Ik bedoel, zeker, we kunnen discussiëren over het BBP, maar we moeten het niet behandelen als een proxystrijd over de vraag of AGI wel of niet een groot probleem zal zijn. Ten slotte en het belangrijkste, DE VIERDE STUK van Econ anti-pedagogie is de focus op "mutueel voordelige ruilen" boven "mensen doden en hun spullen nemen". Econ 101 bewijst dat ruilen egoïstisch beter is dan isolatie. Maar soms is "mensen doden en hun spullen nemen" egoïstisch het beste van allemaal. Wanneer we het over AGI hebben, hebben we het over het creëren van een nieuwe intelligente soort op aarde, eentje die uiteindelijk sneller, slimmer, beter gecoördineerd en talrijker zal zijn dan mensen. Normale mensen, mensen die sci-fi films over robots en aliens hebben gezien, mensen die de geschiedenis van kolonialisme en slavernij hebben geleerd, zullen onmiddellijk veel redelijke vragen stellen. "Wat zullen hun motieven zijn?" "Wie zal de harde macht hebben?" "Als ze in het begin vriendelijk en coöperatief lijken, kunnen ze ons dan in de rug steken als ze machtiger worden?" Dit zijn uitstekende vragen! We moeten deze vragen zeker stellen! (Voor wat het waard is, dit is mijn expertisegebied, en ik ben erg pessimistisch.) …En dan nemen die normale mensen economische lessen, en eindigen ze dommer. Ze stoppen met het stellen van die vragen. In plaats daarvan "leren" ze dat AGI "kapitaal" is, een beetje zoals een spuitgietmachine. Spuitgietmachines zouden mensen niet uitroeien en de wereld zelf runnen. Dus we zijn veilig. Lol.

.@paulg moet een fan zijn van Ms. Rachel. Ze gebruiken beide dezelfde ontwijkende truc: de twee knooppunten (Israëlische actie)→(burgerslachtoffer) behandelen als de gehele causale context waarover ze hun mening geven. Q: Moeten menselijke schilden toegestaan worden om te werken? A: Het leven van elke niet-strijder is evenveel waard 🧘

De AI-fundamentale modelindustrie die meer dan $25 miljard per jaar aan omzet genereert, impliceert dat de waardecreatie uit de sector meer dan ~$250 miljard per jaar is gepasseerd.

Waarom @VitalikButerin een 12% P(Doom) heeft...