Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
I 1986 var jeg den første Hot Rodder som flyttet PC-er fra 4Mhz til 20Mhz i garasjen min.
IBM sendte advokater for å stoppe meg, enn de sendte ingeniører for å lære av meg, enn de sendte søksmål for å ansette meg, det var feil tilnærming.
Nå er jeg Hot Rodding AI i garasjen min, i dag: Open Source Grok 2.5.
23 timer siden
Jobber med den nye Open Source Grok 2.5!
Vi har vært i stand til å Hot Rod det allerede!!
Det er tidlig, og det kan mislykkes, men det vi har er:
En 268B MoE, 131k kontekst, 8 eksperter, RoPE, 64 GQA oppmerksomhetshoder med 8 KV-hoder, 64 lag.
Til enhver tid er bare 2 eksperter normalt aktive. Vi har funnet en måte å aktivere 4 samtidig med bare et lite ytelsesfall, omtrent 1/3 mer GPU-minne og en forbløffende økning i kvalitetsutganger!
Hvis det opprettholder testene våre, vil jeg publisere en detaljert hvordan!
43,22K
Topp
Rangering
Favoritter