Ilya dan saya memprediksi masa depan yang sama. @ilyasut memprediksi bahwa ketika AI menjadi kuat secara mendalam, manusia akan berubah dengan cara yang belum pernah terjadi sebelumnya. Saya telah berdebat sama. Kami belum terbuka untuk perubahan radikal karena kami tidak dapat merasakan tekanan AI. Setelah kita melakukannya, vektor evolusi manusia akan terbuka. Saya telah membangun prototipe untuk adaptasi dan pembukaan ini. Dia berpendapat bahwa ketika risiko meningkat, saingan akan mulai bekerja sama dalam keselamatan. Saya telah berargumen hal yang sama. Saat taruhannya menjadi eksistensial, permainan bergeser dari memaksimalkan dominasi menjadi meminimalkan risiko kematian (bertahan hidup). Kami akan membangun kembali nilai-nilai kami di sekitar logika ini. IIya menyarankan tujuan keselarasan kita harus "keberadaan hidup" daripada kontrol manusia. Saya telah berargumen hal yang sama. Kontrol adalah ilusi yang rapuh, sebuah poin @karpathy baru-baru ini digaungkan mengenai kesulitan mengelola sistem yang muncul. Satu-satunya target penyelarasan yang kuat adalah eksistensi itu sendiri. Arketipe baru bukanlah Penakluk, tetapi Prajurit & Penjaga Keberadaan. Akhirnya, Ilya menyarankan perusahaan membutuhkan "daftar singkat ide" untuk memandu mereka melalui kekacauan. Kode kejelasan moral. Ini adalah filosofi Jangan Mati.