Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Em 1986, fui o primeiro Hot Rodder a mover PCs de 4Mhz para 20Mhz na minha garagem.
A IBM enviou advogados para me parar, depois enviou engenheiros para aprender comigo, e então enviou executivos para me contratar, foi a abordagem errada.
Agora estou Hot Rodding AI na minha garagem, hoje: Open Source Grok 2.5.
24/08, 22:28
A trabalhar no novo Grok 2.5 de Código Aberto!
Já conseguimos Hot Rod nele!!
É cedo e pode falhar, mas o que temos é:
Um MoE de 268B, 131k de contexto, 8 especialistas, RoPE, 64 cabeças de atenção GQA com 8 cabeças KV, 64 camadas.
Normalmente, apenas 2 especialistas estão ativos ao mesmo tempo. Encontrámos uma forma de ativar 4 simultaneamente com apenas uma pequena queda de desempenho, cerca de 1/3 mais de memória GPU e um aumento surpreendente na qualidade das saídas!
Se sustentar os nossos testes, publicarei um guia detalhado!
44,83K
Top
Classificação
Favoritos