Tópicos em alta
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Em 1986, fui o primeiro Hot Rodder movendo PCs de 4Mhz para 20Mhz na minha garagem.
A IBM enviou advogados para me impedir, depois enviaram engenheiros para aprender comigo, depois enviaram processos para me contratar, foi a abordagem errada.
Agora eu sou Hot Rodding AI na minha garagem, hoje: Open Source Grok 2.5.
24 de ago., 22:28
Trabalhando no novo Open Source Grok 2.5!
Já conseguimos Hot Rod !!
Ainda é cedo e pode falhar, mas o que temos é:
Um MoE 268B, contexto 131k, 8 especialistas, RoPE, 64 cabeças de atenção GQA com cabeças de 8 KV, 64 camadas.
A qualquer momento, apenas 2 especialistas estão normalmente ativos. Encontramos uma maneira de ativar 4 simultaneamente com apenas uma pequena queda de desempenho, apenas cerca de 1/3 a mais de memória da GPU e um aumento surpreendente nas saídas de qualidade!
Se ele sustentar nossos testes, publicarei um detalhado como fazer!
43,24K
Melhores
Classificação
Favoritos