Penyebab Kegagalan AI Governance: Kontrol Operasional dan Matriks RACI

Sebanyak 72% eksekutif dalam Survei Tata Kelola AI EY menyatakan telah memperluas adopsi AI. Namun, baru sepertiga yang memiliki protokol Responsible AI memadai menurut kerangka EY. Masalah utamanya ada pada eksekusi lapangan, yaitu memastikan kebijakan dan pengawasan (oversight) berfungsi saat sistem AI menghadapi situasi tak terduga.

Executive Summary

• Tata kelola AI (AI Governance) berfungsi sebagai sistem kendali operasional agar pemanfaatan teknologi tetap aman dan patuh pada regulasi.

• Matriks RACI wajib diperkuat kejelasan wewenang keputusan (decision authority) untuk menghentikan sistem saat anomali terjadi.

• Preseden Cruise dan Workday membuktikan kegagalan tata kelola berakar dari lambatnya eskalasi keselamatan dan kaburnya tanggung jawab vendor.

Dari Kebijakan AI ke Pengendalian Operasional

Tata kelola AI (AI Governance) adalah sistem kebijakan, batas risiko, dan pengawasan operasional agar AI berjalan aman serta patuh pada regulasi. Temuan Survei Tata Kelola Gradient Flow mencatat 75% organisasi memiliki kebijakan AI dan 54% menyusun playbook insiden. Namun, baru 48% yang rutin memantau sistem produksi terhadap penurunan akurasi, data drift, atau penyalahgunaan fitur.

Menerjemahkan Kebijakan Menjadi Kontrol yang Berjalan

Struktur pengawasan AI di industri beragam, mulai dari divisi privasi, kepatuhan, hingga keamanan informasi. Dokumen kebijakan menetapkan prinsip umum, sedangkan kontrol teknis memantau model berkala. Kuncinya adalah memastikan wewenang keputusan dan eskalasi berfungsi saat model menyimpang, serta pengawasan berlanjut saat model melayani pengguna di produksi.

Mengapa Risiko AI Perlu Dipantau Setelah Deployment?

Aplikasi konvensional menghasilkan keluaran pasti mengikuti baris kode. Sebaliknya, performa AI dapat menurun akibat pergeseran tren data masyarakat. Pengujian sebelum deployment penting, namun pemantauan berkala tetap mutlak. NIST AI Risk Management Framework (NIST AI RMF) mewadahi kontrol ini pada fungsi GOVERN 1.5 dan kejelasan akuntabilitas pada GOVERN 2.1.

Audit sistem AI kerap menemukan perusahaan baru menyadari eror model setelah muncul kerugian finansial atau keluhan publik. Pemantauan berkelanjutan menjadi benteng utama menjaga keandalan operasional. Namun, pemantauan tidak berguna jika tim tidak tahu siapa yang berwenang mengambil tindakan saat deviasi muncul. Kondisi ini menguji efektivitas matriks pembagian peran kerja di organisasi.

Ketika RACI Belum Cukup untuk Akuntabilitas AI

Matriks RACI (Responsible, Accountable, Consulted, Informed) merupakan instrumen umum pemetaan peran kerja, yaitu pelaksana tugas (Responsible), penanggung jawab akhir (Accountable), pemberi masukan (Consulted), dan penerima laporan (Informed). Kerangka ini sejalan dengan arahan NIST AI Risk Management Framework serta standar sistem manajemen AI ISO/IEC 42001.

Namun, pada sistem AI yang terus belajar dari data, pembagian peran konvensional sering kali tidak memadai merespons situasi darurat.

Masalah mendasar muncul karena tim teknis terpisah dari eksekutif bisnis. Tim teknis (Owner of Task) fokus menjaga akurasi model, sedangkan eksekutif bisnis (Owner of Outcome) menanggung risiko finansial dan hukum. Saat model AI keliru, tim teknis merasa bekerja sesuai spesifikasi, sementara eksekutif bisnis tidak tahu cara menghentikannya.

Kondisi ini memicu Hollow Accountability (akuntabilitas semu). Bagan organisasi mencantumkan nama penanggung jawab dengan lengkap, namun saat krisis terjadi, tidak ada personel yang memiliki mandat formal untuk menarik rem darurat operasional.

Perbedaan antara penerapan RACI konvensional dan kebutuhannya pada sistem AI dapat dilihat pada perbandingan berikut:

Tabel Perbandingan Matriks RACI pada Sistem AI

RACI berguna memetakan tugas rutin. Namun, pada AI berisiko tinggi, organisasi wajib menetapkan wewenang keputusan (decision authority) secara tertulis. Penegasan hak merilis model atau mematikan sistem saat darurat ini dapat diselaraskan melalui Layanan Compliance, Risk, dan Audit. Penetapan wewenang ini juga menjadi tuntutan hukum yang kini ditegaskan oleh regulator di Indonesia.

Akuntabilitas AI dalam Konteks Regulasi Indonesia

Tuntutan akuntabilitas dan kendali manusia atas sistem AI kini menjadi kewajiban hukum dalam berbagai regulasi nasional.

Bagi pemrosesan data pribadi, Undang-Undang Pelindungan Data Pribadi Pasal 34 mewajibkan penilaian dampak (Data Protection Impact Assessment atau DPIA) untuk memitigasi risiko profil dan keputusan otomatis, sedangkan Pasal 35 mewajibkan penjagaan keandalan sistem berkelanjutan.

Surat Edaran Menkominfo Nomor 9 Tahun 2023 memuat akuntabilitas sebagai salah satu dari sembilan nilai etika AI, seraya mengatur pengawasan oleh penyelenggara dan pengguna. Arahan ini mendorong organisasi memastikan adanya kendali manusia yang memadai sejak perancangan hingga operasional model.

Lanskap regulasi nasional kian mengikat seiring finalisasi dua draf Peraturan Presiden tentang Peta Jalan AI Nasional serta Etika AI untuk menegakkan akuntabilitas lintas sektor.

Di sektor perbankan, Panduan Tata Kelola AI OJK April 2025 menetapkan direksi dan komisaris bertanggung jawab penuh atas adopsi AI, sekaligus menegaskan tanggung jawab akhir tidak dapat dialihkan ke algoritma.

Kepatuhan ini teruji di lapangan saat informasi risiko, keputusan mitigasi, dan tindakan korektif tidak berjalan dalam satu alur yang selaras. Ketika alur pengawasan tersebut terputus, dampaknya dapat memicu insiden keselamatan maupun tuntutan hukum publik, seperti yang terjadi pada preseden industri global.

Pelajaran dari Kasus Cruise dan Workday

Dua kasus besar di industri memperlihatkan bagaimana celah tata kelola dan macetnya alur keputusan dapat memicu konsekuensi operasional yang berat.

Cruise dan Pentingnya Alur Informasi Keselamatan

Berdasarkan Laporan Investigasi Cruise NHTSA, September 2024 regulator AS (NHTSA) menjatuhkan sanksi 1,5 juta dolar AS atas pelaporan insiden yang tidak lengkap. Kasus ini menunjukkan pentingnya koordinasi cepat antara temuan teknis lapangan dan alur eskalasi manajemen. Jika kasus Cruise menyoroti alur eskalasi pada sistem internal, persoalan tata kelola menjadi semakin rumit saat organisasi mengandalkan algoritma dari vendor pihak ketiga.

Workday dan Akuntabilitas Algoritma Penapisan Pelamar

Ulasan Laporan Kasus AI Workday Bloomberg Law menyoroti gugatan pelamar atas algoritma seleksi kerja. Pengadilan federal memutuskan penyedia AI dapat memikul tanggung jawab hukum bersama pemberi kerja, menegaskan pemakaian algoritma pihak ketiga tidak menghapus kewajiban pengawasan diskriminasi.

Kedua preseden menunjukkan dua kelemahan tata kelola yang berbeda. Kasus Cruise menyoroti macetnya alur eskalasi insiden keselamatan ke manajemen, sedangkan kasus Workday membuktikan bahwa perusahaan tetap bertanggung jawab atas potensi bias algoritma dari vendor luar. Belajar dari kedua preseden ini, organisasi tidak bisa menetapkan akuntabilitas secara abstrak tanpa memahami skenario kerugian spesifik yang mungkin timbul.

Menghubungkan Risiko dengan Dampak dan Keputusan

Penetapan kontrol operasional harus bertolak dari pemetaan dampak kerugian spesifik bagi pengguna dan organisasi. Sebelum membagi peran kerja (ownership), manajemen perlu memetakan potensi kerugian (potential harm) per skenario penggunaan, seperti penolakan kredit diskriminatif, kebocoran data akibat prompt injection, atau disinformasi layanan nasabah. Evaluasi dampak inilah yang menjadi dasar objektif dalam menetapkan ambang batas toleransi risiko, kendali teknis, dan pemegang decision authority.

Kejelasan wewenang keputusan kian mendesak dengan hadirnya agentic AI, yaitu model AI yang mengeksekusi tindakan multi-langkah secara mandiri tanpa persetujuan manusia di setiap tahap. Transisi dari pemberi rekomendasi menuju eksekusi langsung ini memicu profil risiko baru. Batas kewenangan tindakan (action guardrails), kriteria intervensi manual, dan prosedur eskalasi darurat wajib disahkan sebelum agen otonom diizinkan beroperasi.

Menghubungkan potensi kerugian dengan wewenang keputusan memungkinkan organisasi membangun pengawasan yang seimbang terhadap profil risiko teknologinya. Bagi organisasi yang telah mengadopsi AI, langkah selanjutnya adalah mengevaluasi apakah tata kelola yang dimiliki saat ini sudah siap menghadapi audit dan pengujian kepatuhan.

Mengevaluasi dan Memperkuat Tata Kelola AI

Evaluasi tata kelola perlu dilakukan ketika belum jelas siapa yang berwenang mengambil keputusan atas penggunaan AI, bagaimana penyimpangan dari perilaku yang diharapkan ditangani, atau ketika sistem AI mulai dapat menjalankan tindakan tanpa persetujuan manusia.

Melalui Layanan AI Governance, Cisometric membantu organisasi membangun kerangka kerja praktis yang terhubung dengan operasional harian. Tim konsultan didukung personel bersertifikasi ISO 42001:2023 Lead Implementer, mencakup empat pilar utama:

• Asesmen Kematangan dan Kesenjangan - Mengevaluasi tata kelola AI terhadap ISO/IEC 42001, NIST AI RMF, dan regulasi nasional untuk menentukan prioritas mitigasi.

• Penyusunan Taksonomi Dampak dan Matriks Peran - Memetakan skenario risiko serta menetapkan wewenang keputusan terverifikasi sebagai bukti kepatuhan audit.

• Penetapan Pengawasan Manusia dan Batas Intervensi - Merancang prosedur eskalasi cepat dan tata cara penghentian operasional saat sistem menyimpang.

• Kesiapan Audit Sistem Manajemen AI - Mendampingi penyusunan dokumentasi sistem manajemen AI serta simulasi audit pihak ketiga.

Ulasan ini disusun untuk tujuan edukasi teknis dan bukan nasihat hukum formal. Penerapan UU No. 27 Tahun 2022, Surat Edaran Menkominfo No. 9 Tahun 2023, dan panduan OJK disesuaikan dengan konteks operasional masing-masing entitas.

FAQ

Mengapa AI Governance Bisa Gagal Meski Struktur Sudah Tersedia?

Tata kelola AI sering gagal karena organisasi hanya membentuk struktur peran sebatas dokumen formal tanpa memetakan potensi risiko dan dampak kerugian secara spesifik. Tanpa pemahaman risiko yang jelas, tim tidak tahu kapan harus mengintervensi atau siapa yang berhak mengambil keputusan saat sistem mulai menyimpang.

Apakah Matriks RACI Masih Diperlukan dalam AI Governance?

Ya, RACI tetap berguna memetakan pembagian tugas kerja harian. Namun, untuk sistem AI, organisasi wajib menambahkan dokumen Decision Authority tertulis agar jelas siapa yang berwenang meluluskan rilis model atau menarik rem darurat saat terjadi deviasi.

Apa Perbedaan Responsibility, Accountability, dan Decision Authority?

Responsibility adalah pihak yang mengerjakan tugas teknis. Accountability adalah pihak yang wajib mempertanggungjawabkan hasil akhir kepada manajemen atau regulator. Decision Authority adalah pihak yang memegang hak resmi untuk mengambil keputusan, menyetujui toleransi risiko, atau menghentikan sistem.

Mengapa Harm Perlu Dipertimbangkan Sebelum Menentukan Ownership?

Menentukan penanggung jawab tanpa memetakan potensi bahaya membuat organisasi kehilangan tolok ukur eskalasi. Dengan memetakan potensi kerugian (harm) per skenario, tim dapat menetapkan ambang batas toleransi, menyusun alur darurat, dan menunjuk pemegang keputusan yang tepat.

Apa yang Dimaksud Human Oversight yang Efektif dalam AI Governance?

Pengawasan manusia yang efektif berarti pemegang keputusan memiliki akses langsung ke metrik performa model, batas toleransi intervensi disepakati sebelum sistem diluncurkan, serta prosedur penghentian manual (override) siap dijalankan saat terjadi anomali.