Dengan $10/jam, Anda dapat menghosting sendiri Kimi dan menghasilkan cerita (atau apa pun) pada 440 token/detik pada 8 GPU H200 dengan Prime Intellect. Kuncinya adalah jangan khawatir tentang latensi. Misalnya, jika Anda menginginkan 26.400 token dari 24 pertanyaan, Anda dapat menghosting sendiri Kimi dan mendapatkannya dalam waktu sekitar satu menit (setelah semuanya aktif dan berjalan 😉). Itu menghasilkan sekitar $6 per juta token keluaran. Cukup keren! Namun, di Groq, Kimi K2-0905 (256k) adalah $3,00 per juta token keluaran. Jadi saya bahkan tidak bisa menjadi tuan rumah sendiri lebih murah daripada Groq—setidaknya tidak dengan beban dan pengaturan yang saya coba. Tapi itu masih sekitar 2,5× lebih murah dari Sonnet 4.0, yang kira-kira setara dengan model ini (menurut tolok ukur). Saya pikir hosting mandiri model yang begitu kuat sangat memberdayakan. Entah Groq sangat mensubsidi token Kimi, atau mereka benar-benar memiliki teknologi yang luar biasa. 🙂 PS: Untuk pertanyaan singkat serupa, dijawab hanya dengan beberapa token, kita bisa mendapatkan sekitar 573 token/detik output yang mengarah ke sekitar 150.000 prompt per jam. Jadi 150K klasifikasi sederhana per jam untuk kimi k2 pada 8xh200