Ini adalah jenis omong kosong keren yang kami lakukan dengan sponsor kami yang akan Anda bantu kami bertukar pikiran.

"Salah satu hal yang sangat membingungkan tentang model saat ini: bagaimana mendamaikan fakta bahwa mereka melakukannya dengan sangat baik pada eval. Dan Anda melihat eval dan Anda berkata, 'Itu adalah eval yang cukup sulit.' Tetapi dampak ekonomi tampaknya tertinggal secara dramatis. Ada penjelasan [yang mungkin]. Kembali ketika orang-orang melakukan pra-pelatihan, pertanyaan tentang data apa yang harus dilatih dijawab, karena jawaban itu adalah segalanya. Jadi Anda tidak perlu berpikir apakah itu akan menjadi data ini atau data itu. Ketika orang melakukan pelatihan RL, mereka berkata, 'Oke, kami ingin memiliki pelatihan RL semacam ini untuk hal ini dan pelatihan RL semacam itu untuk hal itu.' Anda berkata, 'Hei, saya ingin model kami melakukannya dengan sangat baik ketika kami merilisnya. Saya ingin eval terlihat hebat. Apa yang akan menjadi pelatihan RL yang dapat membantu dalam tugas ini?' Jika Anda menggabungkan ini dengan generalisasi model yang sebenarnya tidak memadai, itu berpotensi menjelaskan banyak dari apa yang kita lihat, keterputusan antara kinerja eval dan kinerja dunia nyata yang sebenarnya"

"Ada lebih banyak perusahaan daripada ide. Komputasi cukup besar sehingga tidak jelas bahwa Anda membutuhkan lebih banyak komputasi untuk membuktikan beberapa ide. AlexNet dibangun di atas 2 GPU. Trafo dibangun di atas 8 hingga 64 GPU. Yang mana, apa, 2 GPU saat ini? Anda dapat berpendapat bahwa penalaran o1 bukanlah hal yang paling berat di dunia. Untuk penelitian, Anda pasti membutuhkan sejumlah komputasi, tetapi jauh dari jelas bahwa Anda membutuhkan jumlah komputasi yang benar-benar terbesar. Jika semua orang berada dalam paradigma yang sama, maka komputasi menjadi salah satu pembeda besar." @ilyasut