Työskentelemme uuden avoimen lähdekoodin Grok 2.5:n parissa! Olemme jo pystyneet Hot Rod -kampanjaan!! Se on alkuvaiheessa ja se voi epäonnistua, mutta meillä on: 268B MoE, 131k konteksti, 8 asiantuntijaa, RoPE, 64 GQA huomiopäätä 8 KV-päällä, 64 kerrosta. Milloin tahansa vain 2 asiantuntijaa on normaalisti aktiivisia. Olemme löytäneet tavan aktivoida 4 samanaikaisesti vain pienellä suorituskyvyn pudotuksella, vain noin 1/3 enemmän GPU-muistia ja hämmästyttävällä laadun lisäyksellä! Jos se tukee testejämme, julkaisen yksityiskohtaisen miten!