Kepercayaan Tinggi, Bukti Audit Tertinggal
Jejak audit AI adalah catatan yang utuh dan terlindungi tentang tindakan serta keputusan sistem, sehingga organisasi dapat menelusuri apa yang terjadi dan siapa yang bertanggung jawab. Tanpa catatan tersebut, keyakinan bahwa keputusan AI bisa dijelaskan hanya menjadi klaim yang sulit dibuktikan. Kesenjangan itu terlihat jelas dalam survei terhadap 720 profesional senior di sembilan negara Asia Pasifik, yang dilakukan pada April hingga Juni 2026. Sebanyak 96 persen organisasi di Indonesia yakin dapat menjelaskan keputusan AI, tetapi hanya 34 persen yang menyimpan rekam jejak lengkap dan antimanipulasi. Lebih mengkhawatirkan, 64 persen pernah menghadapi AI yang bertindak sendiri dan menghasilkan masalah atau keluaran yang tidak diinginkan. Ini bukan sekadar kekurangan dokumentasi. Ketika organisasi tidak bisa merekonstruksi keputusan, mereka kesulitan menemukan sumber kesalahan, mengoreksi dampak, dan menunjukkan bahwa sistem bekerja sesuai tujuan. Audit trail AI seharusnya menjadi syarat operasional sejak awal, bukan pekerjaan tambahan setelah insiden.
Kesenjangan Akuntabilitas Menuntut Aturan dan Data yang Lebih Baik
Organisasi tampak nyaman menyerahkan pekerjaan rutin kepada AI: 91 persen bersedia membiarkan sistem mengambil keputusan tanpa campur tangan manusia. Namun kepercayaan turun menjadi 55 persen untuk transaksi keuangan, sementara 56 persen menyebut kualitas data sebagai kekhawatiran terbesar saat AI bertindak mewakili mereka. Angka-angka ini menunjukkan bahwa persoalannya bukan hanya kecanggihan model. Data yang buruk dapat menghasilkan keputusan yang keliru, dan catatan yang tidak lengkap membuat kesalahan itu makin sulit dipertanggungjawabkan. Karena itu, regulasi AI Indonesia perlu menetapkan kewajiban yang dapat diuji, bukan sebatas prinsip umum. OJK telah menerbitkan Panduan Tata Kelola Kecerdasan Artifisial Perbankan Indonesia yang mencakup standar minimum pengelolaan AI sepanjang siklus hidup, dari manajemen risiko hingga audit. Pemerintah juga menyiapkan dua Peraturan Presiden tentang Peta Jalan AI Nasional dan Etika AI, yang menunggu tanda tangan Presiden sebelum berlaku. Aturan ini harus memperjelas tanggung jawab manusia, mutu data, dan bukti keputusan.
Agentic AI Membutuhkan Pengawasan yang Ikut Berkembang
Peralihan ke agentic AI membuat tata kelola kecerdasan artifisial semakin mendesak. Sistem semacam ini dapat merencanakan, mengambil keputusan, lalu bertindak mewakili organisasi, bukan sekadar memberi saran. Dalam layanan sehari-hari, AI sudah digunakan untuk menganalisis kebutuhan pelanggan, menjalankan chatbot, mengelola interaksi, dan mempersonalisasi layanan. Ketika kewenangannya meluas, transparansi sistem AI harus mencakup identitas agen, tindakan yang dilakukan, serta manusia yang menyetujuinya atau bertanggung jawab atas hasilnya. Sebanyak 99 persen organisasi menyatakan siap memakai solusi yang menghubungkan tindakan AI dengan orang yang bertanggung jawab. Sumsub memperkenalkan Agentic AI Council untuk merumuskan panduan lintas sektor; kerjanya mencakup adopsi, pembangunan fondasi teknis seperti identitas dan keterlacakan agen, serta kebijakan dan pembagian tanggung jawab. Pertemuan perdana dijadwalkan pada kuartal pertama 2027 dengan fokus awal pada perdagangan berbasis agen AI. Kesimpulannya tegas: jangan perluas otonomi AI lebih cepat daripada kemampuan organisasi untuk mengawasi, melacak, dan mempertanggungjawabkan keputusannya.
