В начале этого месяца я выступил с докладом о некоторых технологиях, которые мы разрабатываем в Thrive, и философии, стоящей за этим. Одним из наших приоритетов стали внутренние инструменты, которые дополняют работу нашей команды, включая Puck, внутреннюю исследовательскую систему, которая работает в чате и в фоновом режиме.

За последний год, благодаря тесной интеграции в нашей структуре данных, инфраструктуре LLM и наших собственных рабочих процессах, мы смогли внедрить возможности Puck на нескольких платформах в команде на значительном масштабе. В октябре мы обработали около 10 миллиардов токенов в рамках тысяч задач.

Я нашел полезным заимствовать хорошие идеи дизайна из "обычного программного обеспечения" и применять их к системам ИИ. В своем выступлении я рассматриваю некоторые из этих принципов, которые определяют архитектуру Puck, включая то, как мы организуем подсказки и задачи, а также нашу внутреннюю структуру и инструменты логирования.