Saya terkejut Google tidak melakukan ini terlebih dahulu seperti yang mereka lakukan dengan Kubernetes dan Android. Google tahu (setidaknya tahu) satu-satunya cara untuk bertarung dari belakang adalah dengan membuka diri. Peluang mengejar dari belakang dengan model tertutup? <2%.

Senang menyambut @erikyw26 di Benchmark sebagai peneliti residen sebelum dia memulai PhD-nya di Oxford. Senang Erik membantu kami dan portofolio kami yang lebih luas terhubung dengan garis depan penelitian AI!

Awal pekan ini @NVIDIA membagikan kinerjanya pada model gpt-oss-120B @OpenAI yang berjalan pada DGX B200 (8 chip Blackwell dua mati). Mereka meminta analisis @ArtificialAnlys untuk melakukan pengaturan khusus untuk mereka. Mereka menunjukkan kinerja 900 token per detik untuk satu pengguna, dan turun menjadi 580 token per detik untuk 10 pengguna. Saya telah menempelkan tautan mereka di komentar di bawah. Kami meminta Analisis Buatan untuk menjalankan pengaturan yang sama untuk kami. Hasilnya adalah ~2700 token/s untuk 1 dan sama untuk 10 pengguna. Tidak hanya @CerebrasSystems Inference yang tercepat, kami mempertahankan performa saat Anda meningkatkan beban kerja Anda. Cerebras Inference sedang dalam produksi penuh hari ini, melayani miliaran token GPT 120B per minggu di @OpenRouterAI, @huggingface, dan Cerebras Cloud.