Trendande ämnen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
1986 var jag den första Hot Rodder-föraren som flyttade datorer från 4 MHz till 20 MHz i mitt garage.
IBM skickade advokater för att stoppa mig, än de skickade ingenjörer för att lära sig av mig, än de skickade stämningar för att anställa mig, det var fel tillvägagångssätt.
Nu är jag Hot Rodding AI i mitt garage, idag: Open Source Grok 2.5.
24 aug. 22:28
Arbetar på den nya Open Source Grok 2.5!
Vi har kunnat Hot Rod det redan!!
Det är tidigt och det kan misslyckas, men vad vi har är:
En 268B MoE, 131k kontext, 8 experter, RoPE, 64 GQA-uppmärksamhetshuvuden med 8 KV-huvuden, 64 lager.
För närvarande är endast 2 experter normalt aktiva. Vi har hittat ett sätt att aktivera 4 samtidigt med bara en liten prestandaminskning, bara cirka 1/3 mer GPU-minne och en häpnadsväckande ökning av kvalitetsutgångar!
Om det klarar våra tester kommer jag att publicera en detaljerad hur man gör!
46,01K
Topp
Rankning
Favoriter