No início deste mês, fiz uma palestra sobre algumas das tecnologias que estamos a desenvolver na Thrive e a filosofia por trás disso. Um dos nossos focos tem sido ferramentas internas que aumentam o trabalho da nossa equipa, incluindo o Puck, um sistema de pesquisa interno que funciona em chat e de forma ambientada em segundo plano.

Ao longo do último ano, ao integrar de forma estreita nossa pilha de dados, infraestrutura LLM e nossos próprios fluxos de trabalho, conseguimos trazer as capacidades do Puck para uma série de superfícies na equipe em uma escala significativa. Inferimos cerca de 10B de tokens em outubro em milhares de tarefas.

Achei valioso adotar boas ideias de design de "software comum" e aplicá-las a sistemas de IA. Na palestra, abordo alguns desses princípios que orientam a arquitetura do Puck, incluindo a forma como organizamos prompts e tarefas, e nossa estrutura interna e ferramentas de registro.