Au trecut cinci ani și jumătate între "atenția este tot ce ai nevoie" și lansarea chatGPT. au mai trecut încă trei ani de atunci. Am petrecut cea mai mare parte a zilei încercând să leagă cuvinte care cumva să înțeleagă acești ani. Când "atenția" a scăzut, aveam 19 ani și lucram într-un laborator industrial de ML, lucrând la analiza documentelor. Modelarea limbajului era, fără îndoială, o zonă culturală pierdută atunci, mai ales în domeniul sănătății. IBM Watson tocmai incendiase câteva miliarde de dolari în timpul primului mare vis febril al NLP, iar ideea că chiar și câteva milioane de dolari ar putea reintra în acest domeniu părea exagerată. Vara următoare a fost publicată lucrarea de pre-antrenament generativ. Îmi amintesc că mi l-a redirecționat atunci iubitul unui coleg de facultate care conducea o firmă de procesare a documentelor într-un cartier industrial din Boston. dacă îți strângeai ochii, împreună formau o imagine suficientă de agendă de cercetare pentru a obține un NLP industrial foarte, foarte bun. Ți-ai putea imagina să curatoriezi seturi de date și poate chiar să găsești suficienți bani pentru a lega câteva GPU-uri, ai putea obține ceva util. Mi-am dat demisia în toamna aceea ca să lucrez la modele. Centrul spiritual al comunității "AI este oarecum real" în acel moment era un set de case de grup din Berkley, convinse că au rezolvat psihologia umană. Mai erau câțiva ani până când se prăbușeau într-un scandal de invocare a demonilor Și încă doi ani de atunci până când legile privind scalarea au devenit clare. și încă mult, mult mai mult până la chatGPT. Acea diferență este ceea ce mă bântuie. Cinci ani și jumătate au fost o eternitate, dar acum vorbim despre asta ca și cum ar fi fost o linie dreaptă. Nu a fost. Era o potecă rătăcitoare, cu cantități uriașe de capital incinerate, firme distruse și zeci de fundături. Acum toată lumea presupune că faza de implementare va fi instantanee. Că, pentru că avem această inteligență, economia se va remodela fluid în jurul ei. Dar mă uit la sistemele în care încercăm să injectăm aceste substanțe – procese umane de carne și oase – pare imposibil să nu simți aceeași senzație de dilatare a timpului. A face modelul să funcționeze a fost o problemă tehnologică. Să faci lumea să funcționeze cu ea este orice, numai asta nu. Drumul către difuzarea economică reală va fi mult mai lung decât permit piețele de capital. Doar că de data asta nu IBM arde câteva miliarde. E toată lumea. Fiecare mega cap. Fiecare startup. Trilioane de capitalizare de piață pariază pe termene de implementare care presupun că organizațiile umane se comportă ca produse tehnologice. ...