Arbetar på den nya Open Source Grok 2.5! Vi har kunnat Hot Rod det redan!! Det är tidigt och det kan misslyckas, men vad vi har är: En 268B MoE, 131k kontext, 8 experter, RoPE, 64 GQA-uppmärksamhetshuvuden med 8 KV-huvuden, 64 lager. För närvarande är endast 2 experter normalt aktiva. Vi har hittat ett sätt att aktivera 4 samtidigt med bara en liten prestandaminskning, bara cirka 1/3 mer GPU-minne och en häpnadsväckande ökning av kvalitetsutgångar! Om det klarar våra tester kommer jag att publicera en detaljerad hur man gör!