O mercado global de formação em IA não é realmente global. Himanshu Tyagi (@hstyagi), fundador da @SentientAGI, sobre por que os construtores de IA soberana, e não os clientes globais, são os principais compradores de grandes corridas de formação hoje. "Você não pode sentar-se nos EUA e treinar na Índia. Existem questões regulatórias em torno disso — quem o executa, onde ele é executado." E a economia importa: "É um investimento de 20 milhões de dólares. Você poderia ter retornos globais se os mercados globais estivessem abertos. Mas hoje, não estão." "No espaço atual, são os construtores de IA soberana que são os principais compradores." E muitos governos exigem formação local: "Países como a Coreia e a Índia só permitem nuvens locais quando estão construindo seus modelos locais. É para impulsionar seu ecossistema, e está acontecendo rapidamente."

Após levantar $2B, @MishaLaskin, CEO da @reflection_ai, sobre para onde a empresa está indo a seguir: “Capacitámos para obter o poder computacional necessário para pré-treinar e pós-treinar um modelo aberto americano que podemos exportar para o resto do mundo.” Eles também montaram o que Laskin chama de um banco de talentos de laboratório de fronteira: “Temos uma massa crítica de pessoas que lideraram este trabalho em laboratórios de fronteira — modelagem de pré-treinamento e dados, raciocínio de pós-treinamento, codificação, RLHF — construímos equipes em toda a pilha.” A Reflection agora está na fase que todo laboratório de fronteira sério deve passar: “Estamos na escada de escalonamento, treinando metódicamente modelos de pequenos para grandes, porque em cada escala as coisas quebram de novas maneiras.” E Laskin traça uma linha nítida entre pré-treinamento e pós-treinamento: “As pessoas falam sobre execuções YOLO em IA, mas isso só funciona no pós-treinamento. Como um dos membros da nossa equipe diz: você não pode YOLO no pré-treinamento, tem que ser extremamente preciso e metódico.” Onde as coisas estão agora: “Estamos passando pela escada de escalonamento agora. Estamos vendo resultados iniciais empolgantes e vamos lançar ótimos modelos no próximo ano.”

A IA descentralizada não será como pensávamos. Himanshu Tyagi (@hstyagi), fundador da @SentientAGI, explica por que o treinamento descentralizado é mais realista do que as pessoas assumem: “As pessoas acham que descentralizar o treinamento é impossível, que você teria que espalhá-lo por milhões de pequenos dispositivos. Mas não é assim que tem que funcionar.” “Eu trabalhei em aprendizado federado na minha vida acadêmica. Eu costumava acreditar que o aprendizado descentralizado nunca seria real. Mas eu perdi um ponto crucial: você não precisa descentralizar completamente.” A chave da percepção: “Clusters — não dispositivos — são a unidade de descentralização. Grupos de 500 GPUs não são tão difíceis de conseguir. Muitas pessoas podem montá-los. É como um bom projeto imobiliário.” E grandes players já fazem isso: “O Google e outros descentralizam internamente dessa forma. Esse tipo de descentralização é possível.” Então, qual é a verdadeira barreira? “A parte difícil não é o método de treinamento, é a estrutura regulatória e tarifária em torno da distribuição de chips.”