Otonomi tumbuh lebih cepat daripada pengawasan
Agentic AI adalah sistem kecerdasan buatan yang dapat merencanakan, mengambil keputusan, dan menjalankan tindakan atas nama organisasi tanpa menunggu arahan manusia pada setiap langkah. Perubahan ini menjanjikan proses lebih cepat, tetapi juga memindahkan risiko dari sekadar kesalahan alat bantu ke tindakan yang berdampak langsung.
Survei Sumsub terhadap 720 pengambil keputusan senior di sembilan negara Asia-Pasifik menemukan bahwa 91% organisasi di Indonesia nyaman menyerahkan keputusan rutin kepada AI secara mandiri. Namun, hanya 55% yang merasa nyaman ketika keputusan itu menyangkut transaksi keuangan. Kontras tersebut menunjukkan bahwa kepercayaan bukanlah persetujuan tanpa batas: perusahaan pun mengakui bahwa dampak yang lebih besar menuntut pengawasan lebih ketat.
Masalahnya, kesiapan untuk melepas kendali operasional belum disertai kesiapan membuktikan apa yang terjadi. Sebanyak 64% responden pernah mengalami AI bertindak sendiri dan berujung pada masalah atau hasil yang tidak diinginkan. Angka itu bukan bukti bahwa seluruh insiden terjadi tanpa jejak audit, tetapi cukup menjadi peringatan bahwa otonomi tanpa kontrol yang jelas dapat membuat organisasi kesulitan menjelaskan konsekuensi.
Merasa mampu menjelaskan bukan berarti siap diaudit
Kesenjangan paling penting bukan sekadar antara kepercayaan dan kehati-hatian, melainkan antara keyakinan perusahaan dan bukti yang benar-benar mereka simpan. Sebanyak 96% organisasi menyatakan yakin dapat menjelaskan keputusan AI, tetapi hanya 34% menyimpan rekam jejak keputusan secara utuh dan antimanipulasi. Keyakinan adalah persepsi; catatan yang lengkap adalah kemampuan operasional yang dapat diuji.
Inilah yang disebut Sumsub sebagai “Accountability Asymmetry”: ketergantungan pada keputusan AI lebih besar daripada kemampuan membuktikan ketepatan dan proses di baliknya. Tanpa catatan tentang data, kewenangan, tindakan, dan hasil, audit keputusan AI berisiko berubah menjadi rekonstruksi setelah masalah muncul. Dalam situasi itu, organisasi mungkin tahu siapa yang terdampak, tetapi belum tentu bisa menunjukkan mengapa agen bertindak atau siapa yang mengizinkannya.
Risikonya meningkat ketika 94% organisasi mengaku pernah menggunakan AI di luar tujuan awalnya dalam setahun terakhir, sementara 56% menyebut kualitas data sebagai kekhawatiran utama. Karena itu, tata kelola AI tidak cukup berupa kebijakan tertulis atau pernyataan bahwa keputusan dapat dijelaskan. Perusahaan perlu bukti yang konsisten, terlindungi dari perubahan, dan terhubung dengan tanggung jawab manusia.
Akuntabilitas harus melekat pada kewenangan
Jejak audit yang berguna harus menjawab pertanyaan praktis: agen mana yang bertindak, berdasarkan otorisasi siapa, memakai data apa, dan dalam batas apa. Jika sistem diberi kuasa untuk mengambil keputusan, akuntabilitas AI perlu mengikuti setiap tindakan—bukan berhenti pada nama tim yang membeli atau menerapkan teknologinya. Tanpa hubungan yang jelas antara agen dan penanggung jawab manusia, perusahaan akan kesulitan mengoreksi kesalahan maupun mempertanggungjawabkan dampaknya.
Sumsub menyatakan bahwa kerangka Know Your Agent mengaitkan setiap agen dengan identitas manusia terverifikasi dan memakai pemeriksaan liveness untuk memastikan otorisasi manusia pada momen kritis. Pendekatan semacam ini dapat membantu, tetapi teknologi pelacakan saja bukan jaminan tata kelola. Organisasi tetap harus menentukan batas tindakan, mekanisme persetujuan, jalur eskalasi, serta siapa yang berwenang menghentikan agen.
Dorongan regulasi sudah bergerak: OJK menerbitkan panduan tata kelola AI perbankan sebagai standar minimum, sementara dua Peraturan Presiden mengenai Peta Jalan AI Nasional dan Etika AI masih menunggu tanda tangan Presiden. Ini memperkuat alasan perusahaan membangun kontrol sebelum insiden, bukan sesudahnya. Sebanyak 99% organisasi menyatakan siap mengadopsi teknologi yang melacak tindakan AI hingga individu yang bertanggung jawab; tantangannya adalah mengubah kesiapan itu menjadi praktik sehari-hari.
Forum baru perlu menghasilkan praktik yang bisa diuji
Sumsub memperkenalkan Sumsub Agentic AI Council, forum lintas sektor Asia-Pasifik untuk membahas adopsi, fondasi teknis, dan tata kelola agen AI. Pendaftaran pakar sebagai penasihat pendiri dibuka menjelang pertemuan perdana yang dijadwalkan pada kuartal pertama 2027. Para penasihat akan menyusun kerangka tentang pembuktian kewenangan, batas tindakan, dan rekam kerja agen.
Kelompok kerja pertama akan membahas perdagangan berbantuan agen, ketika AI bertindak mewakili konsumen maupun pelaku bisnis dalam transaksi. Dampaknya dekat dengan pengguna sehari-hari: bila agen salah memilih, memesan, atau menjalankan instruksi, catatan yang bisa diperiksa menentukan apakah masalah dapat ditelusuri dan diselesaikan. Forum ini baru bernilai jika panduannya membantu organisasi menguji kontrol nyata, bukan sekadar memperbanyak prinsip.
Kesimpulannya, perusahaan tidak dapat menyamakan rasa percaya diri dengan kemampuan mempertanggungjawabkan keputusan. Ketika 91% organisasi menyerahkan keputusan rutin kepada agentic AI, sementara hanya sepertiga menyimpan jejak keputusan yang utuh dan antimanipulasi, kesenjangan itu harus menjadi prioritas tata kelola. Otonomi layak diperluas hanya seiring dengan audit yang dapat membuktikan apa yang dilakukan sistem, atas kewenangan siapa, dan siapa yang bertanggung jawab.
