Piața globală de instruire AI nu este de fapt globală. Himanshu Tyagi (@hstyagi), fondatorul @SentientAGI, despre motivul pentru care dezvoltatorii suverani de inteligență artificială, nu clienții globali, sunt astăzi principalii cumpărători ai curselor de antrenament la scară largă. "Nu poți sta în SUA și să te antrenezi în India. Există aspecte de reglementare legate de el — cine îl conduce, unde se desfășoară." Iar economia contează: "E o investiție de 20 de milioane de dolari. Ai fi putut avea randamente globale dacă piețele globale ar fi fost deschise. Dar astăzi, nu mai sunt." "În spațiul actual, constructorii suverani de AI sunt principalii cumpărători." Și multe guverne impun instruire locală: "Țări precum Coreea și India permit nori locali doar când își construiesc modelele locale. Este pentru a le porni ecosistemul, și se întâmplă rapid."

După strângerea de 2 miliarde de dolari, @MishaLaskin, CEO al @reflection_ai, despre direcția în care se îndreaptă compania în continuare: "Am capitalizat pentru a obține calculul necesar pentru a pre-antrena și post-antrena un model american deschis pe care îl putem exporta în restul lumii." De asemenea, au adunat ceea ce Laskin numește o bancă de talente de laborator de frontieră: "Avem o masă critică de oameni care au condus această muncă la Frontier Labs — modelare și date înainte de antrenament, raționament post-antrenament, programare, RLHF — am construit echipe pe întregul stack." Reflecția se află acum în faza prin care trebuie să treacă orice laborator serios de frontieră: "Suntem pe scara de escaladare, antrenând metodic modele de la mici la mari, pentru că la fiecare scară lucrurile se rup în moduri noi." Și Laskin trasează o linie clară între pre-antrenament și post-antrenament: "Oamenii vorbesc despre alergările YOLO în AI, dar asta funcționează doar după antrenament. Așa cum spune unul dintre membrii echipei noastre: nu poți face pre-antrenament YOLO, trebuie să fie extrem de precis și metodic." Cum stau lucrurile acum: "Acum urcăm pe scara de escaladă. Vedem rezultate interesante la început și vom lansa modele grozave anul viitor."

Inteligența artificială descentralizată nu va arăta așa cum ne-am așteptat. Himanshu Tyagi (@hstyagi), fondatorul @SentientAGI, explică de ce instruirea descentralizată este mai realistă decât presupun oamenii: "Oamenii cred că descentralizarea antrenamentului este imposibilă, că ar trebui să o distribui pe milioane de dispozitive mici. Dar nu așa trebuie să funcționeze." "Am lucrat la învățarea federată în viața mea academică. Obișnuiam să cred că învățarea descentralizată nu va fi niciodată reală. Dar am ratat un punct crucial: nu trebuie să descentralizați complet." Principala perspectivă: "Clusterele — nu dispozitivele — sunt unitatea de descentralizare. Capsulele de 500 de plăci video nu sunt atât de greu de obținut. Mulți oameni le pot pune la loc. E ca un proiect imobiliar bun." Și jucătorii mari deja fac asta: "Google și alții descentralizează intern în acest mod. Un astfel de tip de descentralizare este posibil." Deci care este adevărata barieră? "Partea dificilă nu este metoda de antrenament, ci cadrul de reglementare și tarifare legat de distribuția cipurilor în sine."