Tohle je ten typ cool věcí, které děláme se sponzory, a ty nám pomáháš vymýšlet.

"Jedna z velmi matoucích věcí ohledně modelů teď: jak smířit fakt, že si vedou tak dobře při hodnocení. A když se podíváte na hodnocení, řeknete si: 'To jsou docela těžká hodnocení.' Ekonomický dopad se však zdá být výrazně pozadu. Existuje [možné] vysvětlení. Když lidé dělali předškolení, otázka, na jakých datech trénovat, byla zodpovězena, protože ta odpověď byla vším. Nemusíte přemýšlet, jestli to budou tato nebo tamta data. Když lidé dělají školení reálného života, říkají: 'Dobře, chceme mít tento druh školení v reálném životě pro tuto věc a tamto školení pro tamto.' Řeknete: 'Hej, chtěl bych, aby náš model měl opravdu dobrý výkon, až ho vydáme. Chci, aby hodnocení vypadala skvěle. Jaké by bylo školení v reálném životě, které by mohlo pomoci s tímto úkolem?' Pokud to spojíte se zobecněním modelů jako skutečně nedostatečných, může to vysvětlit mnoho toho, co vidíme – tento rozpor mezi výkonem hodnocení a skutečným skutečným výkonem v reálném světě."

"Je tu mnohem víc společností než nápadů. Výpočetní systém je dostatečně velký na to, aby nebylo zřejmé, že potřebujete o tolik více výpočetní kapacity k ověření nějaké myšlenky. AlexNet byl postaven na dvou GPU. Transformátor byl postaven na 8 až 64 GPU. Což by byly, co, dvě dnešní GPU? Dalo by se tvrdit, že o1 uvažování nebylo nejnáročnější na výpočetní zatížení na světě. Pro výzkum určitě potřebujete určité množství výpočetního výkonu, ale není zřejmé, že potřebujete absolutně největší množství výpočetního výkonu. Pokud jsou všichni v rámci stejného paradigmatu, pak se výpočetní technika stává jedním z hlavních rozdílů." @ilyasut