本周早些时候，@NVIDIA 分享了其在 @OpenAI 的 gpt-oss-120B 模型上运行的性能，该模型在 DGX B200（8 个双芯片 Blackwell 芯片）上运行。他们要求 @ArtificialAnlys 进行特别设置。他们展示了一个用户的性能为每秒 900 个令牌，而在 10 个用户时降至每秒 580 个令牌。我已将他们的链接粘贴在下面的评论中。 我们要求 Artificial Analysis 为我们运行相同的设置。结果是 1 个用户约为 2700 个令牌/秒，10 个用户也是如此。@CerebrasSystems 的推理不仅是最快的，而且在您扩展工作负载时，我们能够维持性能。Cerebras 推理今天已全面投入生产，每周在 @OpenRouterAI、@huggingface 和 Cerebras Cloud 上处理数十亿个 GPT 120B 令牌。