La începutul acestei luni, am ținut o prelegere despre o parte din tehnologia pe care o construim la Thrive și despre filozofia din spatele acesteia. Un obiectiv pentru noi a fost instrumentele interne care îmbunătățesc munca echipei noastre, inclusiv Puck, un sistem de cercetare intern care rulează în chat și în fundal.

În ultimul an, prin integrarea strânsă a stivei noastre de date, infrastructura LLM și propriile noastre fluxuri de lucru, am reușit să aducem capacitățile Puck pe o mână de suprafețe din întreaga echipă la o scară semnificativă. Am dedus în jur de 10 miliarde de jetoane în octombrie în 1000 de sarcini.

Mi s-a părut valoros să adopt idei bune de design din "software obișnuit" și să le aplic sistemelor AI. În prezentare, abordez câteva dintre aceste principii care conduc arhitectura lui Puck, inclusiv modul în care organizăm solicitările și sarcinile, precum și cadrul nostru intern și instrumentele de înregistrare.