det var fem og et halvt år mellom «Attention is All You Need» og lanseringen av ChatGPT. ytterligere tre år har gått siden. Jeg har brukt mesteparten av dagen på å prøve å sette sammen ord som på en eller annen måte gir mening i disse årene. Da «attention» kom ut, var jeg 19 år og jobbet i et industrielt ML-laboratorium med dokumentparsing. Språkmodellering var utvilsomt en kulturell bakevje den gang, spesielt innen helsevesenet. IBM Watson hadde nettopp brent opp noen milliarder dollar under den første store NLP-feberdrømmen, og tanken på at selv noen millioner dollar skulle komme tilbake til dette feltet virket usannsynlig. Sommeren etter kom den generative fortreningsartikkelen. Jeg husker at jeg fikk videresendt den av kjæresten til en daværende studentstudent, som drev et dokumentbehandlingsfirma i et industrielt lavhus i Boston. hvis du myste, dannet de sammen et tilstrekkelig bilde av en forskningsagenda til å få virkelig, virkelig god industriell NLP. Du kan tenke deg å kuratere datasett, og kanskje til og med finne nok penger til å sette sammen noen GPU-er, du kan få noe nyttig. Jeg sluttet i jobben min den høsten for å jobbe med modeller. Det åndelige sentrum i «AI er på en måte ekte»-fellesskapet på dette tidspunktet var en gruppe Berkley-gruppehus som var overbevist om at de hadde løst menneskelig psykologi. Det ville fortsatt gå noen år før de kollapset i en demonpåkallingsskandale og ytterligere to år fra det tidspunktet til skaleringslovene ble klare. og fortsatt mye, mye lenger til chatGPT. Det gapet er det som hjemsøker meg. Fem og et halvt år var en evighet, men nå snakker vi om det som om det var en rett linje. Det var det ikke. Det var en vandrerute med enorme mengder kapital som ble brent opp, selskaper ødelagt og dusinvis av blindveier. Nå antar alle at utrullingsfasen vil være umiddelbar. At fordi vi har intelligensen, vil økonomien bare flytende omforme seg rundt den. Men når jeg ser på systemene vi prøver å injisere dette i – menneskelig kjøtt og blod-prosesser – føles det umulig å ikke føle den samme følelsen av tidsdilatasjon. Å få modellen til å fungere var et teknologisk problem. Å få verden til å jobbe med det er alt annet enn det. Veien til faktisk økonomisk spredning vil bli mye lengre enn kapitalmarkedene tillater. Men denne gangen er det ikke IBM som brenner noen milliarder. Det er alle. Hver Mega Cap. Hver oppstart. Billioner i markedsverdi som satser på distribusjonstidslinjer som forutsetter at menneskelige organisasjoner oppfører seg som teknologiprodukter. ...