Det er sinnssykt at vi gir bort den ene viktige strategiske fordelen vi har over Kina innen AI. De har mer energikapasitet, flere mennesker og mer data. Vi har de banebrytende brikkene. Og av en eller annen grunn overleverer vi dem bare ...

Jeg skrev noe om dette, men ser @anton_d_leicht slo meg til det (og gjorde en mye bedre jobb med det!). Så jeg vil bare legge til mine ufullstendige tanker, noen overlappende med hans: ----- Jeg har skrevet en anstendig mengde om ankomsten av mer avansert AI. Men selv om jeg fortsatt tror det er sannsynlig at vi vil få noe sånt som "AGI" i løpet av de neste to tiårene, tror jeg også det er sannsynlig at vi vil få noe sånt som en "AI-vinter" innimellom. Så hvorfor ikke skrive om det også? Jeg tror det er viktig, på grunn av følgende: – En AI-vinter er kanskje IKKE veldig informativ for om vi på lengre sikt (tiår i stedet for år) er på vei mot noe sånt som AGI. – De fleste VIL oppfatte en AI-vinter som veldig informativ om gjennomførbarheten av AGI. – Utfallet som betyr noe er AGI, ikke om det er en AI-vinter foran den eller ikke. De fleste menneskers (og beslutningstakeres) oppfatninger betyr noe. En AI-vinter (og påfølgende investeringsboble sprekker) kan skape en periode da alt snakk om risikoene og fordelene ved fremtidig avansert AI blir fullstendig radioaktivt. Hvis kjernetrenden mot generell intelligens fortsetter mens vi ikke gjør fremskritt i politikken, vil vi ha mindre tid til å positivt forme utviklingen av AI [ Se for deg dette pessimistiske scenariet: Året er 2028. Ting som pleide å fungere, fungerer ikke lenger. Skalering av fortrening begynte å gi sterkt avtagende avkastning i 2025. Skaleringsslutning fulgte etter. Syntetiske data fungerte en stund, men fikk bare modeller til å konvergere nær et nytt tak. Noen få ytterligere innovasjoner skjedde, noe som gjorde LLM-er mer intelligente og nyttige. Men de er fortsatt bare LLM-er, ganske sprø og ikke helt flinke til å automatisere jobber, selv om de er greit til å automatisere skriveoppgaver. Agenter utvikler seg saktere enn forventet. Det viste seg at selvovervåket læring fra tekst var et spesielt enkelt treningssignal å generere. Selvovervåket læring i databruk, og RL, er mye vanskeligere å sette opp riktig. Folk lager enorme simuleringer og trener agenter i dem, men disse generaliserer relativt dårlig. Folk peker på ting som AI 2027 og ser et slikt gap mellom "forventning" og virkelighet, at de sier at det hele var hype. AI-laboratoriene kan ikke lenger rettferdiggjøre store treningsløp; Beregningen kommer bare til å gå til spille for stadig mindre marginale forbedringer. Kanskje vi hadde noen få gjennombrudd i kontekstlengde og kontinuerlig læring, men de er ikke nok. Investeringene i AI stuper. Så FoU faller også. Å snakke om fremtiden til AI blir radioaktivt. Enhver spekulasjon om fremtidige evner drukner i "realister" som peker på de siste årene med skuffende fremgang. I dette scenariet, i 2028, vil dette for mange (de fleste?) se ut som slutten på historien. AI er bra, men det kom bare til å bli så bra. Og det er det. Dette betyr ingen AGI, ingen transformative effekter, ingen gullalder for fremgang, og selvfølgelig ingen risiko verre enn deepfakes. Men hvor lenge vil en AI-vinter vare? Det er mulig at det varer evig, eller i det minste tar noen tiår. Mot oddsen avledet fra trender tidlig på 20-tallet, kan vi nå en grunnleggende grense. Ekspertene ender opp med å informere oss om at hjerne-GPU-analogien var for grov – som vi alle visste allerede – men det viser seg at forskjellene betyr noe for å gå fra tekstprediktor til generell agent. Eller vi trengte kvanteprosesser i hjernen for å generere et bevisst oppmerksomhetssted, som – viser seg – var nødvendig for å få den aller høyeste ordens funksjon. Eller det var ikke kvanteprosesser i seg selv, men den svært sammenkoblede "maskinvaren" hjernen gir, som kan simuleres i den stort sett parallelle behandlingen GPU-ene utfører. Men igjen, som det viser seg, er disse simuleringene ikke nok, og vi trenger faktisk nevromorfe brikker for å lage dyktige agenter, og de vil ikke være tilgjengelige før om fem tiår. Du trenger ikke å tro at noen av disse spesielle fiaskohistoriene er plausible for å tro at vi kanskje mangler en ingrediens i AGI-oppskriften, og ingrediensen kan være vanskelig eller umulig å få tak i dette århundret, det samme som det var hvert eneste århundre før dette. AI-vinteren kan imidlertid også bli kort. Vi er vant til en trinnvis funksjonsøkning i kapasitet allerede, der vi får få imponerende oppdateringer mellom store treningskjøringer. Hvis noen treningsøkter ikke går som forventet, betyr dette bare at vi blir sittende fast i et mye lengre platå, mens ingrediensene for neste trinnendring settes sammen og bygges opp til den nødvendige terskelen. Likevel kan en lengre periode enn forventet med underveldende fremgang utløse mange av de samme prosessene for en lengre vinter. «Skaleringslover» er en empirisk observasjon, ikke et iboende faktum om verden. Trendene kan absolutt ta slutt eller avta betydelig. Fordi folk flest – og spesielt de fleste «utenforstående» som ikke følger AI-fremgangen – har en tendens til å undervurdere viktigheten av disse trendene, blir folk som jobber med AI noen ganger negativt polarisert og blir for absolutistiske (her satirisk) [om den prediktive kraften til skaleringslover. Ja, vi kan være i en annen Moores lov [ situasjon med AI-evner. Men mange tilsynelatende stabile trender stopper over tid – vi husker Moores lov nettopp fordi den er eksepsjonell. Til slutt kommer det kanskje ikke [en AI-vinter i det hele tatt. Vi kan få en stadig bedre grense for AI til tross for de vanlige "skremslene" når AI ser ut til å treffe en vegg rett før den knuser gjennom den. Eller vi kan få en forbedret grense ettersom mye av "boblen" for innpakningsselskaper og mindre AI-startups sprekker. Resultatet er: det er en underliggende kjernetrend [ mot stadig mer generell intelligens. Og det er den trenden som betyr noe. Ikke om LLM-er vil få oss dit, eller om vi kommer dit med eller uten en midlertidig AI-vinter i mellom. Hjernen vår er bevis på at generelle resonnementer er oppnåelige, og dagens AI-systemer er bevis på at resonnementet vårt kan tilnærmes nyttig (enten det er "reell resonnement") i svært komplekse domener eller ikke. Det er mulig at noen av de mest pessimistiske spådommene jeg skisserte ovenfor er riktige, som å treffe grunnleggende grenser for maskinintelligens. Men trykkokeren med eksponentielt økende databehandling, treningsdata og tusenvis av genier som jobber med nye algoritmer ser ut til å føre til slutt til avansert intelligens. Og hvis vi ønsker å få det riktig, bør vi fokusere på det, i stedet for resultater som bare korrelerer med det. Det er fornuftig å legge mye innsats og omtanke i resultatene der vi får transformativ AI raskt. Men ikke velg irrelevante åser å dø på [ Apropos, hva skjer hvis boblen sprekker? Mislykkes Anthropic, sammen med andre AI-laboratorier som ikke har mer diversifisert inntekt som Google DeepMind eller Meta? Hvor går de XAI-ansatte hvis det er en stor utvandring? Vil i det minste noen av frontlaboratoriene være i stand til å fortsette å presse grensene, selv om mye av de mindre oppstartsbedriftene og investeringene går konkurs? Vi bør prøve å finne ut av det, på samme måte som vi prøver å finne ut hva vi skal gjøre forutsatt at trendene fortsetter. Hvis du har ideer, er DM-ene mine åpne.

Slik ser overflod ut i praksis. Texas viser veien videre. Hvor lang tid vil det ta California å våkne?

Solar er enormt i Afrika, mye på grunn av billige og tilgjengelige paneler fra Kina

Utviklingsland vil ikke bli skjelt ut til å ta i bruk grønn teknologi De vil adoptere dem av samme grunn som flertallet av mennesker med handlefrihet gjør hva som helst: best mulig nyttig alternativ som er økonomisk tilgjengelig for dem

Jeg er positiv til solenergi globalt, men spesielt i utviklingsland. Der er alternativet ingen strøm i stedet for 100 % pålitelig strøm. Bare det siste året tilsvarer Sierra Leones import av solcellepaneler 61 % av landets ***hele elektrisitetsproduksjon i 2023***

Få forstår hvorfor det er så flott å tiltrekke seg store talenter i landet ditt.

Påminnelse: En av Kinas største frykter er at vi en dag faktisk kan fikse vårt ødelagte immigrasjonssystem (i stedet for aktivt å gjøre det verre).

En siste påminnelse, fristen er i dag!

Innenriksdepartementet beordret en nesten komplett vindpark på 700 MW til å stoppe arbeidet, med henvisning til uspesifiserte nasjonale sikkerhetsbekymringer. 1/5