Maailmanlaajuinen tekoälykoulutusmarkkina ei itse asiassa ole globaali. Himanshu Tyagi (@hstyagi), @SentientAGI:n perustaja, kertoo, miksi suurten koulutusohjelmien pääasialliset ostajat ovat nykyään itsenäiset tekoälyrakentajat, eivät globaalit asiakkaat. "Et voi istua Yhdysvalloissa ja harjoitella Intiassa. Sen ympärillä on sääntelyyn liittyviä asioita — kuka sitä pyörittää, missä se toimii." Ja taloudellinen asia: "Se on 20 miljoonan dollarin sijoitus. Olisit voinut saada globaaleja tuottoja, jos globaalit markkinat olisivat olleet auki. Mutta tänään ne eivät ole." "Nykyisessä tilassa pääasialliset ostajat ovat suvereenit tekoälyrakentajat." Monet hallitukset vaativat paikallista koulutusta: "Maat kuten Korea ja Intia sallivat paikalliset pilvet vain rakentaessaan paikallisia mallejaan. Tarkoituksena on kehittää heidän ekosysteemiään, ja se tapahtuu nopeasti."

Kerättyään 2 miljardia dollaria, @MishaLaskin, @reflection_ai:n toimitusjohtaja, kertoo mihin suuntaan yritys on seuraavaksi menossa: "Olemme hyödyntäneet osaamistamme saadaksemme tarvittavan laskennan amerikkalaisen avoimen mallin esi- ja jälkikoulutukseen, jonka voimme viedä muualle maailmaan." He ovat myös koonneet sen, mitä Laskin kutsuu frontier-labin lahjakkuuspenkiksi: "Meillä on kriittinen joukko ihmisiä, jotka johtivat tätä työtä Frontier Labsissa — esikoulutusmallinnus ja data, koulutuksen jälkeinen päättely, koodaus, RLHF — olemme rakentaneet tiimejä koko pinon yli." Reflektio on nyt vaiheessa, jonka jokainen vakava rajalaboratorio joutuu käymään läpi: "Olemme skaalausportailla, kouluttaen malleja järjestelmällisesti pienistä suuriin, koska jokaisella mittakaavassa asiat rikkoutuvat uusilla tavoilla." Ja Laskin vetää terävän rajan esikoulutuksen ja jälkikoulutuksen välille: "Ihmiset puhuvat YOLO-juoksuista tekoälyssä, mutta se toimii vain harjoittelun jälkeen. Kuten yksi tiimimme jäsenistä sanoo: et voi tehdä YOLO-ennakkokoulutusta, sen täytyy olla äärimmäisen tarkkaa ja järjestelmällistä." Missä asiat tällä hetkellä ovat: "Käymme nyt läpi kiipeämistikkaita. Näemme jännittäviä alkutuloksia, ja julkaisemme ensi vuonna erinomaisia malleja."

Hajautettu tekoäly ei tule näyttämään siltä kuin luulimme. Himanshu Tyagi (@hstyagi), @SentientAGI:n perustaja, selittää, miksi hajautettu koulutus on realistisempaa kuin ihmiset kuvittelevat: "Ihmiset ajattelevat, että koulutuksen hajauttaminen on mahdotonta, että sitä pitäisi jakaa miljooniin pieniin laitteisiin. Mutta niin sen ei tarvitse toimia." "Työskentelin liittovaltion oppimisen parissa akateemisessa elämässäni. Ennen uskoin, että hajautettu oppiminen ei koskaan olisi totta. Mutta unohdin tärkeän asian: sinun ei tarvitse hajauttaa kokonaan." Keskeinen oivallus: "Klusterit — eivät laitteet — ovat hajauttamisen yksikkö. 500 GPU:n podit eivät ole kovin vaikeita saada. Monet pystyvät laittamaan ne paikoilleen. Se on kuin hyvä kiinteistöprojekti." Ja isot toimijat tekevät sen jo: "Google ja muut hajauttavat sisäisesti tällä tavalla. Tällainen hajauttaminen on mahdollista." Mikä siis on todellinen este? "Vaikeinta ei ole koulutusmenetelmä, vaan sääntely- ja tariffikehys sirujen jakelun ympärillä."