Vuonna 1986 olin ensimmäinen Hot Rodder, joka siirsi tietokoneita 4 MHz:stä 20 MHz:iin autotallissani. IBM lähetti lakimiehiä pysäyttämään minut, sitten he lähettivät insinöörejä oppimaan minulta, sitten he lähettivät kanteita palkkaamaan minut, se oli väärä lähestymistapa. Nyt olen Hot Rodding AI autotallissani, tänään: Open Source Grok 2.5.
Brian Roemmele
Brian Roemmele24.8. klo 22.28
Työskentelemme uuden avoimen lähdekoodin Grok 2.5:n parissa! Olemme jo pystyneet Hot Rod -kampanjaan!! Se on alkuvaiheessa ja se voi epäonnistua, mutta meillä on: 268B MoE, 131k konteksti, 8 asiantuntijaa, RoPE, 64 GQA huomiopäätä 8 KV-päällä, 64 kerrosta. Milloin tahansa vain 2 asiantuntijaa on normaalisti aktiivisia. Olemme löytäneet tavan aktivoida 4 samanaikaisesti vain pienellä suorituskyvyn pudotuksella, vain noin 1/3 enemmän GPU-muistia ja hämmästyttävällä laadun lisäyksellä! Jos se tukee testejämme, julkaisen yksityiskohtaisen miten!
43,22K