本月早些时候，我发表了一次关于我们在Thrive构建的一些技术及其背后哲学的演讲。 我们关注的一个重点是增强我们团队工作的内部工具，包括Puck，这是一个在聊天中运行并在后台环境中运行的内部研究系统。

在过去的一年中，通过紧密整合我们的数据堆栈、LLM基础设施和我们自己的工作流程，我们能够在团队的多个表面上以有意义的规模引入Puck的能力。我们在十月份推断了大约100亿个标记，涉及数千个任务。

我发现从“普通软件”中借鉴好的设计理念并将其应用于AI系统是非常有价值的。在演讲中，我介绍了一些推动Puck架构的原则，包括我们如何组织提示和任务，以及我们的内部框架和日志工具。