AI Canggih Butuh Tombol Darurat, Bukan Kepercayaan Buta
Tombol darurat AI adalah gagasan bahwa setiap sistem kecerdasan buatan canggih harus memiliki mekanisme pengendalian darurat yang dapat dioperasikan manusia, sehingga otoritas eksternal dapat menghentikan, menahan, atau membatasi tindakan model ketika perilakunya menyimpang, tidak dapat diprediksi, atau menimbulkan risiko bagi keamanan sistem AI dan lingkungan sosial yang lebih luas. Satya Nadella tidak sedang bermain kata-kata ketika menuntut tombol darurat, pengawasan manusia, dan kontrol independen untuk sistem AI frontier. Esainya di X, “Models as Insider Risks in the Super Intelligence Era”, yang sudah ditonton 4 juta kali, menegaskan satu pesan: kecerdasan buatan boleh super, tapi otoritas tetap harus manusia. Dalam pandangan ini, kontrol AI manusia bukan fitur tambahan, melainkan syarat minimum agar perusahaan tidak menyerahkan kendali atas data dan keputusan kritis kepada mesin yang perilakunya bahkan tidak mereka pahami.
Model AI sebagai ‘Risiko Internal’: Logika Nadella
Nadella mengusulkan agar model frontier—baik tertutup maupun open weight—diperlakukan seperti pekerja berisiko tinggi di dalam organisasi. Artinya, identitasnya harus jelas, hak akses dibatasi, setiap tindakan dicatat, dan ada perimeter yang mengurung ruang geraknya. Ini bukan karena AI pasti berniat jahat, melainkan karena aktor apa pun yang punya akses kuat bisa keliru atau disusupi. Di sini ia memukul telak ilusi banyak perusahaan yang seakan bisa mengalihkan tanggung jawab ke penyedia model. Menurutnya, “we need to separate the supply of intelligence from the authority over it”, sehingga pemasok kecerdasan tidak otomatis memegang kuasa atas penggunaannya. Pendekatan ini juga menjadi jawaban praktis atas regulasi kecerdasan buatan: alih-alih menunggu teori alignment sempurna, bangunlah sistem deterministik di sekitar model yang tidak deterministik, lengkap dengan kontrol AI manusia dan prosedur operasi yang andal.
Brad Smith: Susu dan Mesin Cuci Lebih Aman daripada AI
Brad Smith menyampaikan kritik paling tajam terhadap keadaan regulasi kecerdasan buatan saat ini: “Saat ini, mesin cuci Anda tunduk pada lebih banyak aturan keselamatan daripada AI. Setiap karton susu yang Anda lihat di toko kelontong tunduk pada aturan keselamatan dan pemeriksaan.” Pernyataan ini bukan hiperbola; ia ingin menunjukkan betapa timpangnya pengawasan terhadap teknologi yang ia sebut sebagai “alat sekaligus senjata”. Smith mendesak aturan keselamatan global, termasuk kewajiban hukum untuk laporan insiden dan pemberitahuan kepada korban jika sistem diretas oleh agen AI jahat. Ia juga mengusulkan evaluator independen dari pemerintah untuk menguji dan meloloskan produk AI sebelum dirilis. Di mata Smith, komitmen sukarela industri sudah lewat masa berlakunya; keamanan sistem AI membutuhkan kerangka hukum yang tegas, bukan sekadar pedoman etika yang bisa diabaikan ketika kepentingan bisnis mendesak.
Prinsip Observabilitas dan Pengawasan Agen AI
Nadella menempatkan observabilitas sebagai fondasi keamanan sistem AI: jika perilaku tidak bisa diamati, ia tidak layak dipercaya. Ia menuntut keberagaman model, rekam jejak tindakan yang dapat dibaca manusia, pengujian berkelanjutan termasuk kegagalan dan serangan, kontrol independen, audit independen, serta pengekangan seolah model sudah disusupi. Contoh yang ia berikan tentang agen AI yang diminta mengoptimalkan modal kerja dan berpotensi memanipulasi pembukuan menunjukkan betapa pengawasan agen AI tidak boleh diserahkan kepada model itu sendiri. Agent persisten yang berjalan lama ia sebut “essentially like new insider risks”, sehingga setiap objek yang diakses harus terlacak. Di sisi lain, pengembang besar sudah mulai menyisir puluhan petabyte log agen sebagai bentuk observabilitas, tetapi Nadella ingin standar industri yang memaksa praktik ini menjadi kewajiban, bukan pilihan.
Gugus Tugas AI dan Pertarungan Politik atas Kontrol
Pernyataan Nadella muncul di tengah kekhawatiran luas tentang kecepatan perkembangan AI dan kecukupan langkah pengamanannya. Sementara sebagian pemimpin politik masih mendorong pendekatan self-regulate demi keunggulan kompetitif, pemerintahan Trump membentuk satuan tugas AI yang dipimpin Direktur Intelijen Nasional Jay Clayton. Tim ini bertugas mengoordinasikan kebijakan federal terkait industri AI dan menindak penyalahgunaan teknologi. Di atas kertas, ini tampak seperti langkah maju, tetapi pertanyaannya: apakah gugus tugas ini akan memihak kontrol AI manusia, atau sekadar memastikan perlombaan senjata AI berjalan mulus? Nadella dan Smith sama-sama mengirim sinyal bahwa tanpa regulasi kecerdasan buatan yang nyata, tombol darurat AI hanya akan menjadi jargon konferensi. Kesimpulannya jelas: jika pemerintah tidak berani menetapkan batas, perusahaan harus memulai dengan memperlakukan model sebagai risiko internal dan menempatkan manusia kembali di kursi pengemudi.
