Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Ahmad
Výzkumník a softwarový inženýr zabývající se umělou inteligencí, jehož cílem je vytvořit GPU cluster DGX B200
NEBEZPEČNÉ VĚCI
> přes 20 milionů konverzací na ChatGPT
> jsou teď důkazy... Soudce právě nařídil
> OpenAI, aby je předal v žalobě
jestli vůbec něco křičelo
> Kupte si grafickou kartu
> spouštět AI lokálně
> chránit svá zatracená data
Je to tady


Adam Eisgrau4. 12. 02:12
AKTUÁLNÍ ZPRÁVA: @OpenAI musí žalobcům předávat přes 20 milionů+ chatovacích záznamů, soudkyně Ona Wang rozhodla v právě vydaném 9-stranovém příkazu:

433,19K
extrémně medvědí signál
> potenciální nábory v oblasti vín a gastronomie
> se děje buď z štědrosti
> nebo zoufalství
>v tomto případě je to to druhé
Mark Zuckerberg bude zapamatován právě díky
> najmutí Alexandra Wanga,
> ho jmenuje šéfem Yann LeCun &
> zničení FAIR
vrcholil s Llama3 ig


Yuchen Jin3. 12. 02:47
Mark Chen z OpenAI:
- "Meta se zaměřil na polovinu mých přímých podřízených a všichni odmítli."
- "Meta má 10 miliard dolarů kapitálu ročně, které může věnovat talentům."
- "Zuck ručně vařil a doručoval polévku lidem, které se snažil najmout z OpenAI."
Šílená AI talentová válka.
13,55K
> být arcee
> se rozhlédnout
> si uvědomit, že otevřené frontierové MoE je v podstatě monopol Qwen/DeepSeek
> se rozhodnou "ne, stavíme si vlastní"
> skutečné komplexní předškolení
> na území USA
> představení Trinity
> Nano (6B MoE) a Mini (26B MoE)
> otevřené váhy, Apache 2.0
> zatím zdarma na OpenRouteru
> Nano: model osobnosti s 800M aktivními parametry
> Mini: model uvažování s aktivním 3B
> Velké: právě teď trénujeme na B300 z roku 2048, protože proč ne
> budoucnost je jasná
> modely nebudou statické spotřebiče
> budou to systémy, které rostou
> přizpůsobit
> se od svých uživatelů učte
> přeškolení z živého provozu
> to nemůžeš udělat, pokud nevlastníš závaží
> nebo tréninková smyčka
> Takže Arcee převrací stůl.
> se rozhodne vše předvycvičit sám
> krok 1: AFM-4.5B
> Tokeny vybrané 8T
> vyškoleni s DatologyAI
> experiment "dokážeme to vůbec udělat"
> odpověď: ano
> také: matematika a kód pořád bolí
> pokračovat i tak
> krok 2: Trinity Nano & Mini
> skočit přímo na hranici MoE
> 56 vrstev, 128 odborníků
> sigmoidní směrování, sdílený expert, žádná ztráta aux
> uzavřená pozornost, QK-norma, seskupené dotazy
> Lokální/globální vzorování
> mionový optimalizátor
> bf16 cvičí na 512 H200
> celý speciál Dion/TorchTitan/HSDP
> délku kontextu?
> Nano trénoval za 256 tisíc (odhadováno na 128 tisíc)
> Mini trénoval na 128 tisíc
> dat?
> 10T tokenů ve 3 fázích
> široké → ostré → STEM zaměřené
> Datologie vyrábí syntetické požární hadice
> Prime Intellect udržuje H100 klapsy naživu
> a ano
> trénink MoE v takovém rozsahu je bolest
> "Není to slušný způsob, jak to říct," bolest
> 20T tokeny pro Trinity Large
> H100 z roku 2048 generující syntetická data
> 2048 B300 trénuje skutečný model
> (ladění je mimochodem životní styl)
> Ale tady to začíná být zábavné
> protože jakmile máte předškolení
> vlastníte všechno před "produktem"
> původ dat
> cíle
> chování, drift
> přeškolení na místním místě
> skutečně dlouhověké systémy
> není očistec API jako závislosti
> co bude dál?
> Trinity Large
> parametry 420B
> 13B aktivních na token
> plně otevřený
> zaměřený na leden 2026
> okamžiku, kdy se "American MoE" stává věcí™
> Nano + Mini jsou rozcvička
> modely, které můžete skutečně použít právě teď
> stažení
> moderátor
> doladění
> přestávka
> hlásit chyby
> formovat výcvik Largeho
> komunitní smyčka odemčená
> pokud ti záleží na otevřených váhách
> nebo o tom, že neoutsourcujete celý stack do black-box laboratoří
> Trinity je v podstatě hod na rukavici
> chyť Nano + Mini na objímající tváři
> nebo je spusťte na OpenRouteru
> je stresově otestovat
> najít trhliny
> pošlete zpětnou vazbu
> celý smysl je vlastnictví
Mám rád Arcee, staví tyto modely, takže nemusíš půjčovat inteligenci od někoho jiného

27,56K
Top
Hodnocení
Oblíbené

