Não perca o nosso workshop sobre Fundamentos do Raciocínio em Modelos de Linguagem no NeurIPS amanhã! Upper Ballroom 33ABC, começando às 8:50 AM Com palestras de @Azaliamirh, @aviral_kumar2, @natolambert e @mhahn29 sobre autoaperfeiçoamento, exploração, Olmo 3, cadeia de pensamento e muito mais!

O princípio da cobertura: Como o pré-treinamento permite o pós-treinamento Novo pré-print onde analisamos os mecanismos através dos quais a previsão do próximo token produz modelos que têm sucesso em tarefas subsequentes. A resposta envolve uma métrica que chamamos de "perfil de cobertura", não entropia cruzada.