熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣，引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
1986年，我是第一個在我的車庫裡將PC從4Mhz提升到20Mhz的熱愛者。
IBM派律師來阻止我，然後派工程師來向我學習，接著又派西裝來雇我，這種方法是錯誤的。
現在我在我的車庫裡熱衷於AI，今天：開源Grok 2.5。
23 小時前
正在開發新的開源Grok 2.5！
我們已經能夠對其進行熱處理！！
現在還處於早期階段，可能會失敗，但我們所擁有的是：
一個268B的MoE，131k的上下文，8個專家，RoPE，64個GQA注意力頭和8個KV頭，64層。
通常情況下，任何時刻只有2個專家處於活動狀態。我們找到了一種方法，可以同時激活4個專家，性能僅略有下降，大約需要多1/3的GPU內存，並且輸出質量顯著提高！
如果它能通過我們的測試，我將發布詳細的操作指南！
43.22K
熱門
排行
收藏