Awal pekan ini @NVIDIA membagikan kinerjanya pada model gpt-oss-120B @OpenAI yang berjalan pada DGX B200 (8 chip Blackwell dua mati). Mereka meminta analisis @ArtificialAnlys untuk melakukan pengaturan khusus untuk mereka. Mereka menunjukkan kinerja 900 token per detik untuk satu pengguna, dan turun menjadi 580 token per detik untuk 10 pengguna. Saya telah menempelkan tautan mereka di komentar di bawah. Kami meminta Analisis Buatan untuk menjalankan pengaturan yang sama untuk kami. Hasilnya adalah ~2700 token/s untuk 1 dan sama untuk 10 pengguna. Tidak hanya @CerebrasSystems Inference yang tercepat, kami mempertahankan performa saat Anda meningkatkan beban kerja Anda. Cerebras Inference sedang dalam produksi penuh hari ini, melayani miliaran token GPT 120B per minggu di @OpenRouterAI, @huggingface, dan Cerebras Cloud.