passaram cinco anos e meio entre "a atenção é tudo o que você precisa" e o lançamento do chatGPT. mais três anos se passaram desde então. gastei a maior parte do dia tentando juntar palavras que de alguma forma façam sentido desses anos. quando "atenção" foi lançado, eu tinha 19 anos e trabalhava em um laboratório de ML industrial focado em processamento de documentos. modelagem de linguagem era, sem dúvida, um retrocesso cultural naquela época, especialmente na área da saúde. a ibm watson havia acabado de incinerar alguns bilhões de dólares durante o primeiro grande sonho febril de NLP, e a ideia de que até mesmo alguns milhões de dólares retornariam a este campo parecia absurda. no verão seguinte, o artigo de pré-treinamento generativo foi lançado. lembro-me de ter recebido o encaminhamento dele pelo então namorado de uma colega de faculdade que dirigia uma empresa de processamento de documentos em um prédio industrial de baixo em boston. se você apertasse os olhos, juntos eles formavam uma imagem suficiente de uma agenda de pesquisa para conseguir uma NLP industrial realmente boa. você poderia imaginar curar conjuntos de dados e, talvez, até encontrar dinheiro suficiente para juntar algumas gpus, você poderia obter algo útil. eu pedi demissão do meu emprego naquele outono para trabalhar em modelos. o centro espiritual da comunidade "a IA é meio real" nesse ponto era um conjunto de casas de grupo em berkeley que estavam convencidas de que haviam resolvido a psicologia humana. ainda levaria mais alguns anos até que eles colapsassem em um escândalo de invocação de demônios e ainda mais dois anos a partir desse ponto até que as leis de escalonamento se tornassem claras. e ainda muito, muito mais tempo até o chatGPT. essa lacuna é o que me assombra. cinco anos e meio foi uma eternidade, mas agora falamos sobre isso como se fosse uma linha reta. não era. era um caminho errante com enormes quantidades de capital incineradas, empresas destruídas e dezenas de becos sem saída. agora todo mundo assume que a fase de implantação será instantânea. que, porque temos a inteligência, a economia simplesmente se reconfigurará fluidamente ao redor disso. mas eu olho para os sistemas que estamos tentando injetar essas coisas - processos humanos de carne e osso - e parece impossível não sentir essa mesma sensação de dilatação do tempo. fazer o modelo funcionar foi um problema tecnológico. fazer o mundo trabalhar com ele é tudo menos isso. o caminho para a difusão econômica real vai ser muito mais longo do que os mercados de capitais permitirão. exceto que desta vez não é a ibm queimando alguns bilhões. é todo mundo. cada mega cap. cada startup. trilhões em valor de mercado apostando em cronogramas de implantação que assumem que organizações humanas se comportam como produtos tecnológicos. ...