Раніше цього місяця я виступив з доповіддю про деякі технології, які ми створюємо в Thrive, і філософію, що стоїть за ними. Одним із фокусів для нас були внутрішні інструменти, які доповнюють роботу нашої команди, включаючи Puck, внутрішню дослідницьку систему, яка працює в чаті та у фоновому режимі.

За останній рік, тісно інтегруючись у наш стек даних, LLM infra та власні робочі процеси, ми змогли представити можливості Puck на кількох поверхнях команди в значному масштабі. У жовтні ми вивели близько 10 мільярдів токенів для 1000 завдань.

Я вважаю цінним переймати хороші дизайнерські ідеї зі «звичайного програмного забезпечення» і застосовувати їх у системах штучного інтелекту. У своїй доповіді я розповім про деякі з цих принципів, які керують архітектурою Puck, включаючи те, як ми організовуємо підказки та завдання, а також наш внутрішній фреймворк та інструменти ведення журналу.