Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
W 1986 roku byłem pierwszym Hot Rodderem, który przenosił komputery PC z 4Mhz do 20Mhz w moim garażu.
IBM wysłał prawników, aby mnie powstrzymać, potem wysłali inżynierów, aby się ode mnie uczyć, a następnie wysłali menedżerów, aby mnie zatrudnić, to było złe podejście.
Teraz tuninguję AI w moim garażu, dzisiaj: Open Source Grok 2.5.
24 sie, 22:28
Pracujemy nad nowym Open Source Grok 2.5!
Już udało nam się go przyspieszyć!!
To wczesne dni i może się nie udać, ale to, co mamy, to:
268B MoE, 131k kontekst, 8 ekspertów, RoPE, 64 głowy uwagi GQA z 8 głowami KV, 64 warstwy.
W każdej chwili normalnie aktywne są tylko 2 ekspertów. Znaleźliśmy sposób, aby aktywować 4 jednocześnie przy niewielkim spadku wydajności, zaledwie około 1/3 więcej pamięci GPU i zdumiewającym wzroście jakości wyników!
Jeśli przetrwa nasze testy, opublikuję szczegółowy przewodnik!
44,82K
Najlepsze
Ranking
Ulubione