Anfang dieses Monats hielt ich einen Vortrag über einige der Technologien, die wir bei Thrive entwickeln, und die Philosophie dahinter. Ein Schwerpunkt für uns waren interne Werkzeuge, die die Arbeit unseres Teams unterstützen, einschließlich Puck, einem internen Forschungssystem, das im Chat und im Hintergrund ambient läuft.

Im letzten Jahr haben wir durch die enge Integration unserer Dateninfrastruktur, LLM-Infrastruktur und unserer eigenen Arbeitsabläufe die Fähigkeiten von Puck auf einer Vielzahl von Oberflächen im Team in bedeutendem Maßstab bereitstellen können. Im Oktober haben wir etwa 10 Milliarden Tokens in Tausenden von Aufgaben verarbeitet.

Ich habe es als wertvoll empfunden, gute Designideen aus "gewöhnlicher Software" zu übernehmen und sie auf KI-Systeme anzuwenden. In dem Vortrag bespreche ich einige dieser Prinzipien, die die Architektur von Puck antreiben, einschließlich der Art und Weise, wie wir Eingabeaufforderungen und Aufgaben organisieren, sowie unser internes Framework und unsere Protokollierungstools.