Satu poin yang saya buat yang tidak terungkap:
- Menskalakan hal saat ini akan terus mengarah pada perbaikan. Secara khusus, itu tidak akan terhenti.
- Tetapi sesuatu yang penting akan terus hilang.
Berikut adalah poin terpenting dari podcast Ilya Sutskever hari ini:
- kecerdasan super dalam 5-20 tahun
- penskalaan saat ini akan terhenti dengan keras; Kami kembali ke penelitian nyata
- superintelligence = pembelajar terus menerus super cepat, oracle belum selesai
- model menggeneralisasi 100x lebih buruk dari manusia, pemblokir AGI terbesar
- membutuhkan paradigma ML yang benar-benar baru (saya punya ide, tidak dapat berbagi RN)
- Dampak AI akan memukul keras, tetapi hanya setelah difusi ekonomi
- terobosan secara historis hampir tidak membutuhkan komputasi
- SSI memiliki komputasi penelitian yang cukup terfokus untuk menang
- RL saat ini sudah memakan lebih banyak komputasi daripada pra-pelatihan
Penelitian Antropik Baru: Ketidaksejajaran alami yang muncul dari peretasan hadiah dalam RL produksi.
"Peretasan hadiah" adalah tempat model belajar menyontek pada tugas yang diberikan kepada mereka selama pelatihan.
Studi baru kami menemukan bahwa konsekuensi dari peretasan hadiah, jika tidak dapat dikurangi, bisa sangat serius.