il s'est écoulé cinq ans et demi entre "l'attention est tout ce dont vous avez besoin" et la sortie de chatGPT. trois autres années se sont écoulées depuis. j'ai passé la majeure partie de ma journée à essayer d'assembler des mots qui, d'une manière ou d'une autre, donnent un sens à ces années. quand "l'attention" est sorti, j'avais 19 ans et je travaillais dans un laboratoire ML industriel sur le traitement de documents. la modélisation du langage était sans aucun doute un cul-de-sac culturel à l'époque, surtout dans le secteur de la santé. ibm watson venait de brûler quelques milliards de dollars lors du premier grand rêve fiévreux de la NLP, et l'idée que même quelques millions de dollars pourraient réinvestir ce domaine semblait saugrenue. l'été suivant, le document de pré-entraînement génératif est sorti. je me souviens qu'il m'a été transféré par le petit ami de l'époque d'une camarade de dortoir qui dirigeait une entreprise de traitement de documents dans un bâtiment industriel à boston. si vous plissiez les yeux, ensemble, ils formaient suffisamment d'éléments d'un agenda de recherche pour obtenir une NLP industrielle vraiment très performante. vous pouviez imaginer la constitution de jeux de données, et peut-être même trouver suffisamment d'argent pour assembler quelques gpu, vous pourriez obtenir quelque chose d'utile. j'ai quitté mon emploi cet automne pour travailler sur des modèles. le centre spirituel de la communauté "l'IA est un peu réelle" à ce moment-là était un ensemble de maisons de groupe à berkeley qui étaient convaincues d'avoir résolu la psychologie humaine. il faudrait encore quelques années avant qu'elles ne s'effondrent dans un scandale d'invocation de démons. et encore deux ans à partir de ce moment-là avant que les lois de mise à l'échelle ne deviennent claires. et encore beaucoup, beaucoup plus longtemps avant chatGPT. cet écart est ce qui me hante. cinq ans et demi, c'était une éternité, mais nous en parlons maintenant comme si c'était une ligne droite. ce n'était pas le cas. c'était un chemin sinueux avec d'énormes sommes de capital brûlées, des entreprises détruites et des dizaines de voies sans issue. maintenant, tout le monde suppose que la phase de déploiement sera instantanée. que parce que nous avons l'intelligence, l'économie va simplement se remodeler autour d'elle. mais je regarde les systèmes dans lesquels nous essayons d'injecter ces choses-- des processus humains en chair et en os-- il semble impossible de ne pas ressentir ce même sentiment de dilatation du temps. faire fonctionner le modèle était un problème technologique. faire fonctionner le monde avec lui est tout sauf ça. le chemin vers une diffusion économique réelle va être beaucoup plus long que ce que les marchés de capitaux permettront. sauf que cette fois, ce n'est pas ibm qui brûle quelques milliards. c'est tout le monde. chaque méga-cap. chaque startup. des trillions de capitalisation boursière pariant sur des délais de déploiement qui supposent que les organisations humaines se comportent comme des produits technologiques. ...