Subiecte populare
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
În 1986 am fost primul Hot Rodder care a mutat PC-uri de la 4 Mhz la 20 Mhz în garajul meu.
IBM a trimis avocați să mă oprească, apoi au trimis ingineri să învețe de la mine, apoi au trimis procese pentru a mă angaja, a fost o abordare greșită.
Acum sunt Hot Rodding AI în garajul meu, astăzi: Open Source Grok 2.5.
24 aug., 22:28
Lucrez la noul Open Source Grok 2.5!
Am reușit deja să-l facem Hot Rod!!
Este devreme și s-ar putea să eșueze, dar ceea ce avem este:
A 268B MoE, context 131k, 8 experți, RoPE, 64 capete de atenție GQA cu capete de 8 KV, 64 straturi.
În orice moment, doar 2 experți sunt în mod normal activi. Am găsit o modalitate de a activa 4 simultan cu doar o mică scădere a performanței, doar aproximativ 1/3 mai multă memorie GPU și o creștere uimitoare a rezultatelor de calitate!
Dacă susține testele noastre, voi publica un mod detaliat de cum!
43,24K
Limită superioară
Clasament
Favorite