minęło pięć i pół roku między "uwaga, to wszystko, czego potrzebujesz" a wydaniem chatGPT. minęły kolejne trzy lata od tego czasu. spędziłem większość dzisiejszego dnia próbując połączyć słowa, które w jakiś sposób wyjaśniają te lata. kiedy "uwaga" się ukazała, miałem 19 lat i pracowałem w przemysłowym laboratorium ML zajmującym się przetwarzaniem dokumentów. modelowanie języka było wtedy niewątpliwie kulturowym zaściankiem, zwłaszcza w opiece zdrowotnej. ibm watson właśnie spalił kilka miliardów dolarów podczas pierwszego wielkiego snu o NLP, a pomysł, że nawet kilka milionów dolarów mogłoby wrócić do tej dziedziny, wydawał się absurdalny. następnego lata ukazał się artykuł o generatywnym wstępnym szkoleniu. pamiętam, że przesłał mi go ówczesny chłopak mojej koleżanki z akademika, która prowadziła firmę zajmującą się przetwarzaniem dokumentów w bostońskim niskim budynku przemysłowym. jeśli zmrużyłeś oczy, razem tworzyli wystarczający obraz programu badawczego, aby uzyskać naprawdę, naprawdę dobrą przemysłową NLP. mogłeś sobie wyobrazić kurację zbiorów danych, a może nawet znalezienie wystarczającej ilości pieniędzy, aby połączyć kilka gpu, mogłeś uzyskać coś użytecznego. odebrałem swoją pracę tej jesieni, aby pracować nad modelami. duchowym centrum społeczności "ai jest trochę realne" w tym momencie był zestaw domów grupowych w berkeley, które były przekonane, że rozwiązały ludzką psychologię. minęło jeszcze kilka lat, zanim załamały się w skandalu z przywoływaniem demonów. i jeszcze dwa lata od tego momentu, zanim zasady skalowania stały się jasne. i jeszcze dużo, dużo dłużej, aż do chatGPT. ta luka mnie prześladuje. pięć i pół roku to była wieczność, ale teraz mówimy o tym, jakby to była prosta linia. to nie była. to była wędrująca ścieżka z ogromnymi ilościami kapitału spalonymi, zniszczonymi firmami i dziesiątkami ślepych zaułków. teraz wszyscy zakładają, że faza wdrożenia będzie natychmiastowa. że ponieważ mamy inteligencję, gospodarka po prostu płynnie przekształci się wokół niej. ale patrzę na systemy, do których próbujemy wprowadzić te rzeczy -- ludzkie procesy z krwi i kości -- wydaje się niemożliwe, aby nie czuć tego samego poczucia dylatacji czasu. sprawienie, by model działał, było problemem technologicznym. sprawienie, by świat działał z nim, to coś zupełnie innego. droga do rzeczywistej dyfuzji ekonomicznej będzie znacznie dłuższa, niż rynki kapitałowe pozwolą. z wyjątkiem tego, że tym razem to nie ibm spala kilka miliardów. to wszyscy. każda mega firma. każdy startup. biliony w kapitalizacji rynkowej stawiające na harmonogramy wdrożenia, które zakładają, że organizacje ludzkie zachowują się jak produkty technologiczne. ...