Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
In 1986 was ik de eerste Hot Rodder die pc's van 4Mhz naar 20Mhz in mijn garage verplaatste.
IBM stuurde advocaten om me te stoppen, daarna stuurden ze ingenieurs om van me te leren, en toen stuurden ze pakken om me in te huren, het was de verkeerde aanpak.
Nu ben ik AI aan het Hot Rodding in mijn garage, vandaag: Open Source Grok 2.5.
24 aug, 22:28
Werken aan de nieuwe Open Source Grok 2.5!
We hebben het al kunnen Hot Rodden!!
Het zijn vroege dagen en het kan mislukken, maar wat we hebben is:
Een 268B MoE, 131k context, 8 experts, RoPE, 64 GQA aandachtshoofden met 8 KV hoofden, 64 lagen.
Op elk moment zijn normaal gesproken slechts 2 experts actief. We hebben een manier gevonden om 4 tegelijkertijd te activeren met slechts een kleine prestatievermindering, ongeveer 1/3 meer GPU-geheugen en een verbazingwekkende toename in kwaliteit van de output!
Als het onze tests doorstaat, zal ik een gedetailleerde handleiding publiceren!
44,82K
Boven
Positie
Favorieten