A principios de este mes, di una charla sobre parte de la tecnología que estamos construyendo en Thrive y la filosofía detrás de ello. Un enfoque para nosotros ha sido las herramientas internas que aumentan el trabajo de nuestro equipo, incluyendo Puck, un sistema de investigación interno que funciona en el chat y de manera ambiental en segundo plano.

Durante el último año, al integrar de manera estrecha nuestra pila de datos, la infraestructura de LLM y nuestros propios flujos de trabajo, hemos podido llevar las capacidades de Puck a un puñado de superficies en todo el equipo a una escala significativa. Inferimos alrededor de 10 mil millones de tokens en octubre en miles de tareas.

He encontrado valioso adoptar buenas ideas de diseño de "software ordinario" y aplicarlas a los sistemas de IA. En la charla, cubro algunos de estos principios que impulsan la arquitectura de Puck, incluyendo la forma en que organizamos los prompts y las tareas, así como nuestro marco interno y herramientas de registro.