O mercado global de treinamento em IA na verdade não é global. Himanshu Tyagi (@hstyagi), fundador da @SentientAGI, explica por que os construtores de IA soberana, e não os clientes globais, são os principais compradores de treinamentos em larga escala atualmente. "Você não pode ficar nos EUA e treinar na Índia. Existem questões regulatórias sobre isso — quem administra, onde ele vai acontecer." E a economia importa: "É um investimento de 20 milhões de dólares. Você poderia ter tido retornos globais se os mercados globais estivessem abertos. Mas hoje, não estão." "No espaço atual, são os construtores soberanos de IA que são os principais compradores." E muitos governos exigem treinamento local: "Países como Coreia e Índia só permitem nuvens locais quando estão construindo seus modelos locais. É para impulsionar o ecossistema deles, e está acontecendo rápido."

Logo após levantar 2 bilhões de dólares, @MishaLaskin, CEO da @reflection_ai, sobre para onde a empresa está caminhando a seguir: "Capitalizamos para obter o cálculo necessário para pré-treinar e pós-treinar um modelo aberto americano que possamos exportar para o resto do mundo." Eles também montaram o que Laskin chama de banco de talentos de laboratório de fronteira: "Temos uma massa crítica de pessoas que lideraram esse trabalho nos laboratórios da Frontier — modelagem e dados pré-treinamento, raciocínio pós-treinamento, programação, RLHF — montamos equipes em toda a pilha." A reflexão está agora na fase que todo laboratório sério de fronteira deve passar: "Estamos na escada de escala, treinando modelos metodicamente do pequeno ao grande, porque a cada escala as coisas quebram de novas maneiras." E Laskin traça uma linha clara entre pré-treino e pós-treinamento: "As pessoas falam sobre runs YOLO em IA, mas isso só funciona no pós-treinamento. Como um dos nossos membros da equipe disse: você não pode fazer pré-treinamento YOLO, tem que ser extremamente preciso e metódico." Como as coisas estão agora: "Agora vamos passar pela escada de escalada. Estamos vendo resultados iniciais empolgantes e lançaremos ótimos modelos no próximo ano."

A IA descentralizada não vai parecer como pensávamos. Himanshu Tyagi (@hstyagi), fundador da @SentientAGI, explica por que o treinamento descentralizado é mais realista do que as pessoas imaginam: "As pessoas acham que descentralizar o treinamento é impossível, que você teria que espalhá-lo por milhões de dispositivos minúsculos. Mas não é assim que precisa funcionar." "Trabalhei com aprendizado federado na minha vida acadêmica. Eu costumava acreditar que o aprendizado descentralizado nunca seria real. Mas perdi um ponto crucial: você não precisa descentralizar totalmente." A principal percepção: "Clusters — não dispositivos — são a unidade da descentralização. Pods de 500 GPUs não são tão difíceis de conseguir. Muita gente consegue colocá-los. É como um bom projeto imobiliário." E grandes players já fazem isso: "O Google e outros descentralizam internamente dessa forma. Esse tipo de descentralização é possível." Então, qual é a verdadeira barreira? "A parte difícil não é o método de treinamento, é o arcabouço regulatório e tarifário em torno da distribuição de chips em si."