Pracujemy nad nowym Open Source Grok 2.5! Już udało nam się go przyspieszyć!! To wczesne dni i może się nie udać, ale to, co mamy, to: 268B MoE, 131k kontekst, 8 ekspertów, RoPE, 64 głowy uwagi GQA z 8 głowami KV, 64 warstwy. W każdej chwili normalnie aktywne są tylko 2 ekspertów. Znaleźliśmy sposób, aby aktywować 4 jednocześnie przy niewielkim spadku wydajności, zaledwie około 1/3 więcej pamięci GPU i zdumiewającym wzroście jakości wyników! Jeśli przetrwa nasze testy, opublikuję szczegółowy przewodnik!