Saya sedang menulis sesuatu tentang ini tetapi lihat @anton_d_leicht mengalahkan saya (dan melakukan pekerjaan yang jauh lebih baik dalam hal itu!). Jadi saya hanya akan menambahkan pemikiran saya yang tidak lengkap, beberapa tumpang tindih dengan pikirannya: ----- Saya telah menulis banyak tentang kedatangan AI yang lebih canggih. Tetapi sementara saya masih berpikir kemungkinan kita akan mendapatkan sesuatu seperti "AGI" dalam dua dekade ke depan, saya juga berpikir kemungkinan kita akan mendapatkan sesuatu seperti "musim dingin AI" di antaranya. Jadi mengapa tidak menulis tentang itu juga? Saya pikir itu penting, karena hal-hal berikut: – AI Winter mungkin TIDAK terlalu informatif tentang apakah, dalam jangka panjang (puluhan tahun, bukan tahun), kita menuju sesuatu seperti AGI. – Kebanyakan orang AKAN menganggap musim dingin AI sangat informatif tentang kelayakan AGI. – Hasil yang penting adalah AGI, bukan apakah ada musim dingin AI sebelum atau tidak. Persepsi kebanyakan orang (dan pembuat kebijakan) penting. Musim dingin AI (dan ledakan gelembung investasi yang dihasilkan) dapat menciptakan periode waktu ketika pembicaraan tentang risiko dan manfaat AI canggih di masa depan menjadi benar-benar radioaktif. Jika tren inti menuju kecerdasan umum berlanjut sementara kita tidak membuat kemajuan dalam kebijakan, kita akan memiliki lebih sedikit waktu untuk membentuk pengembangan AI secara positif [ Bayangkan skenario pesimis ini: Tahun ini adalah 2028. Hal-hal yang dulu berhasil tidak berfungsi lagi. Prapelatihan penskalaan mulai memberikan pengembalian yang sangat berkurang pada tahun 2025. Inferensi penskalaan mengikutinya. Data sintetis bekerja untuk sementara waktu, tetapi hanya membuat model menyatu di dekat langit-langit baru. Beberapa inovasi lebih lanjut terjadi, membuat LLM lebih cerdas dan berguna. Tapi mereka masih hanya LLM, cukup rapuh dan tidak cukup pandai mengotomatiskan pekerjaan, bahkan jika baik-baik saja dalam mengotomatiskan tugas penulisan. Agen berkembang lebih lambat dari yang diantisipasi. Ternyata belajar mandiri dari teks adalah sinyal pelatihan yang sangat mudah dihasilkan. Pembelajaran yang diawasi sendiri dalam penggunaan komputer, dan RL, jauh lebih sulit untuk diatur dengan benar. Orang-orang membuat simulasi besar dan agen pelatihan di dalamnya, tetapi ini digeneralisasi relatif buruk. Orang-orang menunjuk hal-hal seperti AI 2027 dan melihat kesenjangan antara "harapan" dan kenyataan, sehingga mereka mengatakan itu semua adalah hype. Laboratorium AI tidak dapat lagi membenarkan latihan besar-besaran; komputasi hanya akan terbuang-untuk peningkatan marjinal yang lebih kecil. Mungkin kami memiliki beberapa terobosan dalam panjang konteks dan pembelajaran berkelanjutan, tetapi itu tidak cukup. Investasi dalam AI anjlok. Jadi R&D juga jatuh. Berbicara tentang masa depan AI menjadi radioaktif. Setiap spekulasi tentang kemampuan masa depan ditenggelamkan oleh "realis" yang menunjukkan kemajuan yang mengecewakan beberapa tahun terakhir. Dalam skenario ini, pada tahun 2028, ini akan terlihat bagi banyak (paling?) seperti akhir cerita. AI itu bagus, tetapi itu hanya akan sebagus itu. Dan hanya itu. Ini berarti tidak ada AGI, tidak ada dampak transformatif, tidak ada masa keemasan kemajuan, dan tentu saja, tidak ada risiko yang lebih buruk daripada deepfake. Tapi berapa lama musim dingin AI akan berlangsung? Ada kemungkinan bahwa itu berlangsung selamanya, atau setidaknya membutuhkan beberapa dekade. Melawan rintangan yang berasal dari tren awal abad ke-20, kita mungkin mencapai batas fundamental. Para ahli akhirnya memberi tahu kita bahwa analogi otak-GPU terlalu kasar – yang kita semua sudah tahu – tetapi ternyata perbedaannya penting untuk beralih dari prediktor teks ke agen umum. Atau kita membutuhkan proses kuantum di otak untuk menghasilkan lokus perhatian sadar, yang – ternyata – diperlukan untuk mendapatkan fungsi tingkat tertinggi. Atau itu bukan proses kuantum itu sendiri, tetapi "perangkat keras" yang sangat saling berhubungan yang disediakan otak, yang dapat disimulasikan dalam pemrosesan yang sebagian besar paralel yang dilakukan GPU. Tapi sekali lagi ternyata, simulasi ini tidak cukup dan kita benar-benar membutuhkan chip neuromorfik untuk membuat agen yang cakap, dan itu tidak akan tersedia selama lima dekade lagi. Anda tidak perlu berpikir salah satu dari cerita kegagalan khusus ini masuk akal untuk berpikir bahwa kita mungkin kehilangan beberapa bahan dalam resep AGI, dan bahannya mungkin sulit atau tidak mungkin untuk didapatkan abad ini, sama seperti setiap abad sebelum yang satu ini. Musim dingin AI mungkin juga singkat. Kami sudah terbiasa dengan peningkatan kemampuan fungsi langkah, di mana kami mendapatkan beberapa pembaruan yang mengesankan di antara latihan besar. Jika beberapa latihan berjalan tidak berjalan seperti yang diharapkan, ini hanya berarti kita akan terjebak di dataran tinggi yang jauh lebih panjang, sementara bahan-bahan untuk perubahan langkah berikutnya berkumpul dan membangun hingga ambang batas yang diperlukan. Namun, periode kemajuan yang mengecewakan yang lebih lama dari perkiraan dapat memicu banyak proses yang sama dari musim dingin yang lebih panjang. "Hukum penskalaan" adalah pengamatan empiris, bukan fakta yang melekat tentang dunia. Tren benar-benar dapat berakhir atau melambat secara signifikan. Karena kebanyakan orang — dan terutama sebagian besar "orang luar" yang tidak mengikuti kemajuan AI — cenderung meremehkan pentingnya tren ini, orang yang bekerja pada AI terkadang terpolarisasi secara negatif dan menjadi terlalu absolutis (di sini secara satir) [tentang kekuatan prediksi dari penskalaan hukum. Ya, kita bisa berada dalam situasi Hukum Moore lain [ dengan kemampuan AI. Tetapi banyak tren yang tampaknya stabil berhenti seiring waktu - kita mengingat Hukum Moore justru karena luar biasa. Akhirnya, mungkin tidak akan datang [musim dingin AI sama sekali. Kita mungkin mendapatkan perbatasan AI yang terus meningkat meskipun ada "ketakutan" reguler setiap kali AI tampaknya menabrak tembok tepat sebelum menabraknya. Atau kita mungkin mendapatkan perbatasan yang membaik karena banyak "gelembung" untuk perusahaan pembungkus dan startup AI yang lebih rendah meledak. Hasilnya adalah: ada kecenderungan inti yang mendasarinya [menuju kecerdasan yang semakin umum. Dan tren itulah yang penting. Bukan apakah LLM akan membawa kita ke sana, atau apakah kita akan sampai di sana dengan atau tanpa musim dingin AI sementara di antaranya. Otak kita adalah bukti bahwa penalaran umum dapat dicapai, dan sistem AI saat ini adalah bukti bahwa penalaran kita dapat diperkirakan dengan berguna (apakah itu "penalaran nyata") dalam domain yang sangat kompleks atau bukan. Ada kemungkinan bahwa beberapa prediksi paling pesimis yang saya uraikan di atas benar, seperti mencapai batas dasar kecerdasan mesin. Tetapi pressure cooker dari komputasi yang meningkat secara eksponensial, data pelatihan, dan ribuan jenius yang mengerjakan algoritme baru tampaknya pada akhirnya mengarah pada kecerdasan tingkat lanjut. Dan jika kita ingin melakukannya dengan benar, kita lebih baik fokus pada itu, daripada hasil yang hanya berkorelasi dengannya. Masuk akal untuk melakukan banyak upaya dan pemikiran ke dalam hasil di mana kita mendapatkan AI transformatif dengan cepat. Tapi jangan memilih bukit yang tidak relevan untuk mati [ Omong-omong, apa yang terjadi jika gelembung meledak? Apakah Anthropic gagal, bersama dengan laboratorium AI lain yang tidak memiliki pendapatan yang lebih beragam seperti Google DeepMind atau Meta? Ke mana karyawan XAI pergi jika ada eksodus besar? Akankah setidaknya beberapa laboratorium perbatasan dapat terus mendorong perbatasan, bahkan jika banyak startup dan investasi yang lebih kecil bangkrut? Sebaiknya kita mencoba mencari tahu, sama seperti kita mencoba mencari tahu apa yang harus dilakukan dengan asumsi tren terus berlanjut. Jika Anda punya ide, DM saya terbuka.