Vào đầu tháng này, tôi đã có một buổi nói chuyện về một số công nghệ mà chúng tôi đang xây dựng tại Thrive và triết lý đứng sau nó. Một trong những trọng tâm của chúng tôi là các công cụ nội bộ giúp tăng cường công việc của đội ngũ, bao gồm Puck, một hệ thống nghiên cứu nội bộ hoạt động trong chat và âm thầm ở nền tảng.

Trong năm qua, bằng cách tích hợp chặt chẽ giữa hệ thống dữ liệu của chúng tôi, cơ sở hạ tầng LLM và quy trình làm việc của chính mình, chúng tôi đã có thể mang lại khả năng của Puck đến một số bề mặt trong đội ngũ với quy mô đáng kể. Chúng tôi đã thực hiện khoảng 10 tỷ token trong tháng Mười trên hàng nghìn nhiệm vụ.

Tôi thấy việc áp dụng những ý tưởng thiết kế tốt từ "phần mềm thông thường" vào các hệ thống AI là rất có giá trị. Trong bài nói chuyện, tôi đề cập đến một số nguyên tắc điều khiển kiến trúc của Puck, bao gồm cách chúng tôi tổ chức các prompt và nhiệm vụ, cũng như khung nội bộ và các công cụ ghi log của chúng tôi.