Tidligere denne uken delte @NVIDIA ytelsen på @OpenAI s gpt-oss-120B-modell som kjører på DGX B200 (8 to Blackwell-brikker). De ba @ArtificialAnlys analyse om å gjøre et spesielt oppsett for dem. De viste ytelse på 900 tokens per sekund for én bruker, og falt til 580 tokens per sekund for 10 brukere. Jeg har limt inn lenken deres i kommentarene nedenfor. Vi ba Artificial Analysis om å kjøre det samme oppsettet for oss. Resultatet er ~2700 token/s for 1 og det samme for 10 brukere. Ikke bare er @CerebrasSystems Inference den raskeste, vi opprettholder ytelsen når du skalerer opp arbeidsmengden. Cerebras Inference er i full produksjon i dag, og serverer milliarder av GPT 120B-tokens per uke på @OpenRouterAI, @huggingface og Cerebras Cloud.