Tidligere denne måneden holdt jeg et foredrag om noe av teknologien vi bygger hos Thrive og filosofien bak den. Et fokus for oss har vært interne verktøy som forsterker teamets arbeid, inkludert Puck, et internt forskningssystem som kjører i chat og ambient i bakgrunnen.

I løpet av det siste året, ved å integrere tett på tvers av datastabelen vår, LLM-infra og våre egne arbeidsflyter, har vi vært i stand til å bringe Pucks evner til en håndfull overflater på tvers av teamet i meningsfull skala. Vi konkluderte rundt 10 milliarder tokens i oktober på tvers av 1000-vis av oppgaver.

Jeg har funnet det verdifullt å ta i bruk gode designideer fra "vanlig programvare" og bruke dem på AI-systemer. I foredraget dekker jeg noen av disse prinsippene som driver Pucks arkitektur, inkludert måten vi organiserer spørsmål og oppgaver på, og vårt interne rammeverk og loggingsverktøy.