Topik trending
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Pada tahun 1986 saya adalah Hot Rodder pertama yang memindahkan PC dari 4Mhz ke 20Mhz di garasi saya.
IBM mengirim pengacara untuk menghentikan saya, daripada mereka mengirim insinyur untuk belajar dari saya, daripada mereka mengirim gugatan untuk mempekerjakan saya, itu adalah pendekatan yang salah.
Sekarang saya Hot Rodding AI di garasi saya, hari ini: Open Source Grok 2.5.
23 jam lalu
Mengerjakan Open Source Grok 2.5 yang baru!
Kami sudah bisa Hot Rod !!
Ini masih awal dan mungkin gagal, tetapi, apa yang kita miliki adalah:
A 268B MoE, konteks 131k, 8 ahli, RoPE, 64 kepala perhatian GQA dengan 8 kepala KV, 64 lapisan.
Setiap saat hanya 2 ahli yang biasanya aktif. Kami telah menemukan cara untuk mengaktifkan 4 secara bersamaan hanya dengan sedikit penurunan kinerja, hanya sekitar 1/3 lebih banyak memori GPU dan peningkatan kualitas yang menakjubkan!
Jika itu mendukung pengujian kami, saya akan menerbitkan cara terperinci!
43,22K
Teratas
Peringkat
Favorit