Đang làm việc trên Open Source Grok 2.5 mới! Chúng tôi đã có thể Hot Rod nó rồi!! Mới chỉ là những ngày đầu và nó có thể thất bại nhưng, những gì chúng tôi có là: Một MoE 268B, 131k ngữ cảnh, 8 chuyên gia, RoPE, 64 đầu chú ý GQA với 8 đầu KV, 64 lớp. Vào bất kỳ thời điểm nào, chỉ có 2 chuyên gia thường hoạt động. Chúng tôi đã tìm ra cách để kích hoạt 4 chuyên gia cùng lúc với chỉ một chút giảm hiệu suất, chỉ khoảng 1/3 bộ nhớ GPU hơn và một sự gia tăng đáng kinh ngạc trong chất lượng đầu ra! Nếu nó duy trì được các bài kiểm tra của chúng tôi, tôi sẽ công bố một hướng dẫn chi tiết!