Chủ đề thịnh hành
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Vào năm 1986, tôi là người đầu tiên trong giới Hot Rodder chuyển đổi máy tính từ 4Mhz lên 20Mhz trong gara của mình.
IBM đã cử luật sư đến để ngăn chặn tôi, sau đó họ cử kỹ sư đến để học hỏi từ tôi, rồi họ cử những người mặc vest đến để thuê tôi, đó là cách tiếp cận sai lầm.
Bây giờ tôi đang Hot Rodding AI trong gara của mình, hôm nay: Open Source Grok 2.5.
22:28 24 thg 8
Đang làm việc trên Open Source Grok 2.5 mới!
Chúng tôi đã có thể Hot Rod nó rồi!!
Mới chỉ là những ngày đầu và nó có thể thất bại nhưng, những gì chúng tôi có là:
Một MoE 268B, 131k ngữ cảnh, 8 chuyên gia, RoPE, 64 đầu chú ý GQA với 8 đầu KV, 64 lớp.
Vào bất kỳ thời điểm nào, chỉ có 2 chuyên gia thường hoạt động. Chúng tôi đã tìm ra cách để kích hoạt 4 chuyên gia cùng lúc với chỉ một chút giảm hiệu suất, chỉ khoảng 1/3 bộ nhớ GPU hơn và một sự gia tăng đáng kinh ngạc trong chất lượng đầu ra!
Nếu nó duy trì được các bài kiểm tra của chúng tôi, tôi sẽ công bố một hướng dẫn chi tiết!
43,22K
Hàng đầu
Thứ hạng
Yêu thích