"Attention is all you need" ja chatGPT:n julkaisun välillä oli viisi ja puoli vuotta. Toiset kolme vuotta on kulunut siitä. Olen viettänyt suurimman osan tästä päivästä yrittäen yhdistellä sanoja, jotka jotenkin ymmärtäisivät näitä vuosia. Kun "huomio" katosi, olin 19-vuotias ja työskentelin teollisessa koneoppimislaboratoriossa dokumenttien jäsentämisen parissa. Kielen mallinnus oli tuolloin kiistatta kulttuurinen syrjäseutu, erityisesti terveydenhuollossa. IBM Watson oli juuri polttanut muutaman miljardin dollarin ensimmäisen suuren NLP-kuumeunen aikana, ja ajatus siitä, että edes muutama miljoona dollaria palaisi tälle alalle, tuntui uskomattomalta. Seuraavana kesänä generatiivinen esikoulutuspaperi julkaistiin. Muistan, että sain sen eteenpäin tuolloin opiskelukumppanin poikaystävältä, joka pyöritti asiakirjojen käsittelyyritystä Bostonin teollisessa matalatalossa. jos siristää silmiäsi, yhdessä ne muodostivat riittävän kuvan tutkimusagendasta, jotta saatiin todella hyvää teollista NLP:tä. Voisit kuvitella kuratoimalla aineistoja ja ehkä jopa löytäväsi tarpeeksi rahaa muutaman GPU:n yhdistämiseen, saatat saada jotain hyödyllistä. Lopetin työni syksyllä ja aloin tehdä malleja. "Tekoäly on tavallaan todellinen" -yhteisön henkinen keskus oli tässä vaiheessa joukko Berkleyn ryhmätaloja, jotka olivat vakuuttuneita ratkaisseensa ihmisen psykologian. Kesti vielä muutaman vuoden ennen kuin he romahtivat demonin kutsumisskandaalissa ja vielä kaksi vuotta siitä eteenpäin, kunnes skaalauslait selviäisivät. ja vielä paljon, paljon pidempään chatGPT:hen. Tuo aukko kummittelee minua. Viisi ja puoli vuotta se oli ikuisuus, mutta puhumme siitä nyt kuin se olisi ollut suora linja. Se ei ollut. Se oli vaeltava polku, jossa valtavat määrät pääomaa poltettiin, yrityksiä tuhottiin ja kymmeniä umpikujiin. Nyt kaikki olettavat, että käyttöönottovaihe on välitön. Että koska meillä on älykkyys, talous vain muovautuu sen ympärille sulavasti uudelleen. Mutta kun katson järjestelmiä, joihin yritämme ruiskuttaa tätä ainetta – ihmisen liha- ja veriprosesseja – tuntuu mahdottomalta olla tuntematta samaa ajan dilataatiota. Mallin saaminen toimimaan oli teknologinen ongelma. Maailman saaminen toimimaan sen kanssa on kaikkea muuta kuin sitä. Varsinaisen talouden leviämisen tie tulee olemaan paljon pidempi kuin pääomamarkkinat sallivat. Paitsi että tällä kertaa se ei ole IBM, joka polttaa muutaman miljardin. Se on kaikki. jokaisen megakapin. Jokaisessa startupissa. Biljoonien markkina-arvojen panostus käyttöönottoaikatauluihin, jotka olettavat, että ihmisorganisaatiot käyttäytyvät kuin teknologiatuotteet. ...