Houve cinco anos e meio entre "atenção é tudo que você precisa" e o lançamento do ChatGPT. mais três anos se passaram desde então. Passei a maior parte do dia tentando juntar palavras que de alguma forma façam sentido desses anos. Quando a "atenção" caiu, eu tinha 19 anos e trabalhava em um laboratório industrial de ML trabalhando com análise de documentos. A modelagem de linguagem era, sem dúvida, um lugar culturalmente atrasado naquela época, especialmente na área da saúde. A IBM Watson acabara de incinerar alguns bilhões de dólares durante o primeiro grande sonho febril do PLN, e a ideia de que até alguns milhões de dólares voltassem a esse campo parecia absurda. No verão seguinte, o artigo sobre o pré-treinamento generativo foi publicado. Lembro de ter recebido o encaminhamento do então namorado de um colega de faculdade que administrava uma empresa de processamento de documentos em um prédio industrial de Boston. se você apertasse os olhos, juntos formavam uma imagem suficiente de uma agenda de pesquisa para obter um PLN industrial realmente muito bom. Você pode imaginar curar conjuntos de dados e talvez até encontrar dinheiro suficiente para conectar algumas GPUs, talvez você consiga algo útil. Larguei meu emprego naquele outono para trabalhar com modelos. O centro espiritual da comunidade "a IA é meio real" nesse ponto era um conjunto de casas de grupo em Berkley que estavam convencidas de que haviam resolvido a psicologia humana. Ainda faltariam alguns anos até que desmoronassem em um escândalo de invocação de demônios E ainda mais dois anos a partir desse ponto até que as leis de escala ficassem claras. e ainda muito, muito, muito mais até o chatGPT. Esse fosso é o que me assombra. Cinco anos e meio foi uma eternidade, mas agora falamos como se fosse uma linha reta. Não era. Era um caminho errante com enormes quantidades de capital incinerado, empresas destruídas e dezenas de becos sem saída. Agora todo mundo assume que a fase de implantação será instantânea. Que, por termos inteligência, a economia vai se remodelar naturalmente em torno dela. Mas olho para os sistemas nos quais estamos tentando injetar essas coisas — processos humanos de carne e osso — parece impossível não sentir essa mesma sensação de dilatação temporal. Fazer o modelo funcionar era um problema tecnológico. Fazer o mundo trabalhar com ele é tudo, menos isso. O caminho para a difusão econômica real será muito mais longo do que os mercados de capitais permitirão. Só que desta vez não é a IBM queimando alguns bilhões. É todo mundo. Todo mega cap. Toda startup. Trilhões em capitalização de mercado apostando em prazos de implantação que assumem que organizações humanas se comportam como produtos tecnológicos. ...