热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币，引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
1986年，我是第一个在我的车库里将PC从4Mhz提升到20Mhz的热爱者。
IBM派律师来阻止我，然后派工程师来向我学习，接着又派西装来雇我，这种方法是错误的。
现在我在我的车库里热衷于AI，今天：开源Grok 2.5。
8月24日 22:28
正在开发新的开源Grok 2.5！
我们已经能够对其进行热处理！！
现在还处于早期阶段，可能会失败，但我们所拥有的是：
一个268B的MoE，131k的上下文，8个专家，RoPE，64个GQA注意力头和8个KV头，64层。
通常情况下，任何时刻只有2个专家处于活动状态。我们找到了一种方法，可以同时激活4个专家，性能仅略有下降，大约需要多1/3的GPU内存，并且输出质量显著提高！
如果它能通过我们的测试，我将发布详细的操作指南！
44.82K
热门
排行
收藏