El mercado global de entrenamiento con IA en realidad no es global. Himanshu Tyagi (@hstyagi), fundador de @SentientAGI, explica por qué los constructores de IA soberana, y no los clientes globales, son hoy los principales compradores de entrenamientos a gran escala. "No puedes sentarte en EE.UU. y entrenar en la India. Hay cuestiones regulatorias en torno a ello: quién lo dirige, dónde se desarrolla." Y la economía importa: "Es una inversión de 20 millones de dólares. Se podrían haber tenido rendimientos globales si los mercados globales hubieran estado abiertos. Pero hoy, no lo son." "En el espacio actual, son los constructores de IA soberanos los principales compradores." Y muchos gobiernos exigen formación local: "Países como Corea e India solo permiten nubes locales cuando están construyendo sus modelos locales. Es para arrancar su ecosistema, y está ocurriendo rápido."

Tras recaudar 2.000 millones de dólares, @MishaLaskin, CEO de @reflection_ai, sobre hacia dónde se dirige la empresa a continuación: "Hemos capitalizado para obtener el cálculo necesario para pre-entrenar y post-entrenar un modelo abierto americano que podamos exportar al resto del mundo." También han reunido lo que Laskin llama un banco de talento de laboratorio de frontera: "Tenemos una masa crítica de personas que lideraron este trabajo en Frontier Labs — modelado y datos pre-entrenamiento, razonamiento post-entrenamiento, programación, RLHF — hemos formado equipos en toda la pila." La reflexión está ahora en la fase por la que debe pasar todo laboratorio pionero serio: "Estamos en la escalera de escalar, entrenando modelos metódicamente de pequeño a grande, porque a cada escala las cosas se rompen de nuevas maneras." Y Laskin traza una línea clara entre el pre-entrenamiento y el post-entrenamiento: "La gente habla de las partidas de YOLO en IA, pero eso solo funciona después del entrenamiento. Como dice uno de nuestros compañeros: no se puede hacer un pre-entrenamiento YOLO, tiene que ser extremadamente preciso y metódico." Dónde están las cosas ahora mismo: "Ahora vamos a subir por la escalera. Estamos viendo resultados emocionantes al principio y el año que viene lanzaremos grandes modelos."

La IA descentralizada no será como pensábamos. Himanshu Tyagi (@hstyagi), fundador de @SentientAGI, explica por qué la formación descentralizada es más realista de lo que la gente supone: "La gente piensa que descentralizar el entrenamiento es imposible, que tendrías que repartirlo entre millones de dispositivos diminutos. Pero no tiene que funcionar así." "Trabajé en el aprendizaje federado en mi vida académica. Antes creía que el aprendizaje descentralizado nunca sería real. Pero me he perdido un punto crucial: no tienes que descentralizar por completo." La idea clave: "Los clústeres — no los dispositivos — son la unidad de descentralización. Pods de 500 GPUs no son tan difíciles de conseguir. Mucha gente puede colocarlos. Es como un buen proyecto inmobiliario." Y los grandes jugadores ya lo hacen: "Google y otros descentralizan internamente de esta manera. Ese tipo de descentralización es posible." ¿Cuál es entonces la verdadera barrera? "La parte difícil no es el método de entrenamiento, sino el marco regulatorio y arancelario en torno a la distribución de chips en sí."