مقابل 10 دولارات في الساعة ، يمكنك استضافة Kimi ذاتيا وإنشاء قصص (أو أي شيء آخر) بسعر 440 رمزا / ثانية على 8 وحدات معالجة رسومات H200 باستخدام Prime Intellect. المفتاح هو عدم القلق بشأن زمن الانتقال. على سبيل المثال ، إذا كنت تريد 26,400 رمز من 24 سؤالا ، فيمكنك استضافة Kimi ذاتيا والحصول عليها في غضون دقيقة تقريبا (بمجرد تشغيل كل شيء 😉). هذا يصل إلى حوالي 6 دولارات لكل مليون رمز إخراج. رائع! على الرغم من ذلك ، في Groq ، فإن Kimi K2-0905 (256k) هو 3.00 دولارات لكل مليون رمز إخراج. لذلك لا يمكنني حتى استضافة ذاتية أرخص من Groq - على الأقل ليس مع الحمل والإعدادات التي جربتها. لكنها لا تزال أرخص بحوالي 2.5× من Sonnet 4.0 ، والتي يعادلها هذا النموذج (وفقا للمعايير) تقريبا. أعتقد أن الاستضافة الذاتية لمثل هذا النموذج القوي أمر ممكن بشكل لا يصدق. إما أن Groq تدعم رموز Kimi بشكل كبير ، أو أن لديهم بالفعل تقنية مذهلة. 🙂 ملاحظة: بالنسبة للأسئلة القصيرة المماثلة ، التي تمت الإجابة عليها من خلال عدد قليل من الرموز المميزة ، يمكننا الحصول على حوالي 573 رمزا / إخراجا ثانيا مما يؤدي إلى حوالي 150 000 مطالبة في الساعة. لذلك 150 ألف تصنيف بسيط في الساعة ل kimi k2 على 8xh200