Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
У 1986 році я був першим Hot Rodder, який перевів ПК з 4 МГц на 20 МГц у своєму гаражі.
IBM відправляла юристів, щоб зупинити мене, потім вони відправляли інженерів, щоб вчитися у мене, потім вони надсилали позови, щоб найняти мене, це був неправильний підхід.
Тепер я Hot Rodding AI у своєму гаражі, сьогодні: Open Source Grok 2.5.
24 серп., 22:28
Працюємо над новим Open Source Grok 2.5!
Ми вже змогли це зробити Hot Rod!!
Це ранні дні, і він може вийти з ладу, але ми маємо:
268B MoE, 131k контекст, 8 експертів, RoPE, 64 головки уваги GQA з 8 головками KV, 64 шари.
У будь-який момент часу нормально активні лише 2 експерти. Ми знайшли спосіб активувати 4 одночасно лише з невеликим падінням продуктивності, лише приблизно на 1/3 більше пам'яті графічного процесора та дивовижним збільшенням якості на виході!
Якщо він витримає наші тести, я опублікую детальну інструкцію!
44,82K
Найкращі
Рейтинг
Вибране