Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
В 1986 году я был первым Hot Rodder, который переводил ПК с 4 МГц на 20 МГц в своем гараже.
IBM прислали юристов, чтобы остановить меня, затем они прислали инженеров, чтобы учиться у меня, потом они прислали костюмы, чтобы нанять меня, это был неправильный подход.
Теперь я занимаюсь Hot Rodding AI в своем гараже, сегодня: Open Source Grok 2.5.
23 часа назад
Работаем над новой версией Open Source Grok 2.5!
Мы уже смогли его разогнать!!
Это еще ранние дни, и он может не сработать, но вот что у нас есть:
268B MoE, 131k контекст, 8 экспертов, RoPE, 64 GQA внимания с 8 KV головами, 64 слоя.
В любой момент обычно активны только 2 эксперта. Мы нашли способ активировать 4 одновременно с небольшим падением производительности, всего около 1/3 дополнительной памяти GPU и удивительным увеличением качества выходных данных!
Если он выдержит наши тесты, я опубликую подробное руководство!
43,22K
Топ
Рейтинг
Избранное