Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Dwarkesh Patel
"Jedną z bardzo mylących rzeczy dotyczących modeli w tej chwili jest to, jak pogodzić fakt, że radzą sobie tak dobrze na ocenach.
Patrzysz na oceny i myślisz: 'To są dość trudne oceny.'
Ale wpływ ekonomiczny wydaje się być dramatycznie w tyle.
Jest [możliwe] wyjaśnienie. Kiedy ludzie zajmowali się wstępnym treningiem, pytanie, na jakich danych trenować, miało odpowiedź, ponieważ ta odpowiedź brzmiała: wszystko. Więc nie musisz się zastanawiać, czy będą to te dane, czy tamte dane.
Kiedy ludzie przeprowadzają trening RL, mówią: 'Dobrze, chcemy mieć ten rodzaj treningu RL dla tej rzeczy i tamten rodzaj treningu RL dla tamtej rzeczy.'
Mówisz: 'Hej, chciałbym, aby nasz model radził sobie naprawdę dobrze, gdy go wydamy. Chcę, aby oceny wyglądały świetnie. Jaki rodzaj treningu RL mógłby pomóc w tym zadaniu?'
Jeśli połączysz to z generalizacją modeli, które są faktycznie niewystarczające, to może to wyjaśnić wiele z tego, co widzimy, ten rozjazd między wydajnością ocen a rzeczywistą wydajnością w świecie rzeczywistym"
26 lis, 01:29
Odcinek @ilyasut
0:00:00 – Wyjaśnienie złożoności modeli
0:09:39 - Emocje i funkcje wartości
0:18:49 – Co skalujemy?
0:25:13 – Dlaczego ludzie generalizują lepiej niż modele
0:35:45 – Prosto do superinteligencji
0:46:47 – Model SSI nauczy się z wdrożenia
0:55:07 – Dopasowanie
1:18:13 – „Jesteśmy zdecydowanie firmą badawczą”
1:29:23 – Samo-granie i multi-agent
1:32:42 – Smak badań
Szukaj podcastu Dwarkesh na YouTube, Apple Podcasts lub Spotify. Miłego słuchania!
429,35K
Najlepsze
Ranking
Ulubione