Pemanfaatan automated decision-making (selanjutnya disebut ADM) telah merambah berbagai aspek kehidupan sosial. Penggunaannya pun semakin meluas dalam berbagai bidang administrasi publik, termasuk dalam perumusan kebijakan, perlindungan dan kesejahteraan anak, pelayanan kesehatan, serta kesejahteraan sosial. Teknologi ini bukan lagi wacana masa depan. Berbagai yurisdiksi, di antaranya, Amerika Serikat, Uni Eropa, Indonesia, Inggris, serta sejumlah negara di Afrika telah mengadopsinya dalam praktik pemerintahan. Dengan pesatnya perkembangan teknologi, penggunaan ADM diperkirakan akan terus meluas dan melampaui bentuk-bentuk penerapan yang saat ini telah dikenal, seperti predictive policy dan administrasi otomatis (automated administration).
Otomatisasi pada dasarnya memiliki potensi yang signifikan, salah satunya meningkatkan efisiensi pelayanan publik karena proses layanan tidak lagi sepenuhnya terikat oleh batasan waktu. Dari perspektif administrative justice, penggunaan sistem otomatis juga berpotensi mengurangi risiko keputusan yang dipengaruhi oleh motif atau pertimbangan yang tidak semestinya dari pengambil keputusan manusia, seperti kepentingan tersembunyi, penyimpangan dari tujuan yang sah, maupun unsur kelalaian. Manfaat tersebut juga berkaitan dengan kemampuan sistem otomatis untuk menghasilkan keputusan secara lebih konsisten berdasarkan parameter yang telah ditetapkan. Dengan demikian, perkembangan teknologi otomatisasi tidak sekadar mengubah cara pelayanan publik diselenggarakan, tetapi juga membawa perubahan yang lebih mendasar terhadap lanskap tata kelola pengambilan keputusan.
Namun, justru di titik inilah persoalan mulai muncul. Konsistensi memang berfungsi untuk menopang hak setiap individu atas persamaan di hadapan hukum. Namun, konsistensi tidak dapat dijadikan satu-satunya ukuran keberhasilan pengambilan keputusan. Sebuah sistem dapat bekerja dengan sangat efisien, menghasilkan keputusan secara konsisten, bahkan meminimalkan campur tangan manusia. Akan tetapi, semua itu belum dengan sendirinya menjadikan keputusan yang dihasilkan adil, proporsional, atau selaras dengan hak asasi manusia. Dengan kata lain, keputusan yang konsisten belum tentu merupakan keputusan yang benar secara hukum maupun adil bagi individu yang terdampak.
Pada level dependensi tertentu, dalam digitalisasi layanan pemerintahan dan otomatisasi pengambilan keputusan, hal ini dapat menghilangkan ruang bagi karakteristik manusia yang memungkinkan toleransi terhadap kesalahan-kesalahan sederhana/minor. Kesalahan seperti salah mengeja nama atau tanggal ketika mengisi permohonan bantuan sosial atau pelaporan pajak, misalnya, dapat berujung pada konsekuensi yang tidak proporsional ketika diproses begitu saja dengan ADM. Persoalan semakin kompleks karena keputusan sistem sepenuhnya bergantung pada data yang menjadi dasar pemrosesannya.
Ketika data tersebut tidak memadai, tidak relevan, atau bahkan tidak akurat, sistem dapat menghasilkan keputusan yang keliru tanpa ruang yang cukup untuk mengenali dimana letak kesalahannya, sebagaimana dikenal sebagai ‘black-box’. Kondisi opaque AI ini tidak semata-mata disebabkan oleh kebutuhan teknis, melainkan seringkali merupakan pilihan desain yang dilakukan oleh pihak pengembang. Pilihan tersebut dapat menghasilkan sistem algoritmik dengan mekanisme internal yang tidak memungkinkan adanya pertanggungjawaban yang transparan.
Suatu sistem algoritmik dapat menerapkan parameter secara konsisten terhadap individu, tetapi sekaligus menghasilkan dampak yang tidak setara terhadap kelompok tertentu (diskriminasi). Dalam kondisi demikian, machine learning dalam ADM justru dapat mereproduksi atau memperkuat bias yang telah tertanam dalam data. Sementara algoritma tidak memiliki mekanisme reflektif (seperti yang dimiliki oleh manusia) untuk mengenali dan mengoreksi bias yang telah dipelajarinya secara mandiri. Persoalan mengenai nature ADM ini, tercermin dalam alat assessment berbasis algoritma ‘COMPAS’. Kasus ini terkait penjatuhan pidana terhadap Eric Loomis di Wisconsin, Amerika Serikat (State v. Loomis, 881 N.W.2d 749 [Wis. 2016]).
Majelis hakim menggunakan pre-sentencing investigation reports (PSIs), dokumen-dokumen yang memberikan informasi latar belakang pelaku pidana kepada pengadilan yang akan menjatuhkan hukuman. Laporan PSIs dibuat oleh petugas di Departemen Pemasyarakatan Wisconsin yang di dalamnya mencakup hasil penilaian resiko/potensi residivisme berbasis algoritma bernama COMPAS (Correctional Offender Management Profile for Alternative Sanctions). Penilaian COMPAS memprediksi risiko residivisme berdasarkan wawancara dengan pelaku dan informasi riwayat kriminal pelaku.
