er waren vijf en een half jaar tussen "attention is all you need" en de release van chatGPT. er zijn nog eens drie jaar verstreken sinds. ik heb het grootste deel van vandaag geprobeerd woorden aan elkaar te rijgen die op de een of andere manier deze jaren begrijpelijk maken. toen "attention" uitkwam was ik 19 en werkte ik in een industriële ML-laboratorium aan documentverwerking. taalmodellering was toen ongetwijfeld een culturele achterstand, vooral in de gezondheidszorg. ibm watson had net een paar miljard dollar verbrand tijdens de eerste grote NLP-droom, en het idee dat zelfs een paar miljoen dollar weer in dit veld zou komen, leek absurd. de volgende zomer kwam het generative pre-training paper uit. ik herinner me dat het werd doorgestuurd door de toenmalige vriend van een toenmalige studiegenoot die een documentverwerkingsbedrijf runde in een industriële laagbouw in boston. als je je ogen samenknijpt, vormden ze samen genoeg van een beeld van een onderzoeksagenda om echt heel goede industriële NLP te krijgen. je kon je voorstellen datasets te cureren, en misschien zelfs genoeg geld te vinden om een paar gpu's aan elkaar te knopen, dan zou je iets nuttigs kunnen krijgen. ik heb mijn baan die herfst opgezegd om aan modellen te werken. de spirituele kern van de "ai is een beetje echt" gemeenschap op dat moment was een aantal berkeley-groepshuizen die ervan overtuigd waren dat ze de menselijke psychologie hadden opgelost. het zou nog een paar jaar duren voordat ze instortten in een demon oproep schandaal en nog eens twee jaar vanaf dat punt totdat de schaalwetten duidelijk werden. en nog veel langer totdat chatGPT. die kloof is wat me achtervolgt. vijf en een half jaar was een eeuwigheid, maar we praten er nu over alsof het een rechte lijn was. dat was het niet. het was een dwalende weg met enorme hoeveelheden kapitaal die verbrand werden, bedrijven die vernietigd werden, en tientallen doodlopende wegen. nu gaat iedereen ervan uit dat de implementatiefase onmiddellijk zal zijn. omdat we de intelligentie hebben, zal de economie zich gewoon soepel omheen vormen. maar ik kijk naar de systemen waarin we deze dingen proberen te injecteren-- menselijke vlees- en bloedprocessen-- het voelt onmogelijk om niet datzelfde gevoel van tijdsdilatatie te voelen. de technologie om het model te laten werken was een technologieprobleem. de wereld laten werken met het model is allesbehalve dat. de weg naar daadwerkelijke economische diffusie zal veel langer zijn dan de kapitaalmarkten zullen toestaan. behalve dat het deze keer niet ibm is die een paar miljard verbrandt. het is iedereen. elke mega cap. elke startup. triljoenen aan marktwaarde die wedden op implementatietijdlijnen die aannemen dat menselijke organisaties zich gedragen als technologieproducten. ...