AI medis keliru: tanggung jawab rumah sakit, klinisi, dan vendor

Kesalahan pada kecerdasan artifisial (artificial intelligence/AI) medis tidak berhenti di layar tempat keluaran muncul. Satu hasil keliru bisa berawal dari data, model, pembaruan, antarmuka, pemeriksaan manusia, atau prosedur rumah sakit. Kata “AI” karena itu tidak cukup untuk menunjuk penanggung jawab.

Kerangka Indonesia membagi kewajiban menurut rekam medis, alat kesehatan, pemrosesan data, dan penyelenggaraan layanan. Pembagian tersebut menghasilkan beberapa lapis akuntabilitas yang bertemu pada satu kejadian. Penilaian hukum per kasus tetap bergantung pada tujuan penggunaan, status produk, kontrak, catatan, dan tindakan yang benar-benar terjadi.

Empat posisi akuntabilitas bertemu pada satu keluaran

Permenkes No. 24 Tahun 2022 mensyaratkan catatan klinis yang lengkap dan jelas, disertai nama, waktu, serta tanda tangan tenaga kesehatan. Aturan itu juga menempatkan dokumen rekam medis pada fasilitas pelayanan kesehatan dan mengatur hak akses untuk mengisi, memperbaiki, atau melihat data. Keluaran AI yang masuk ke rekam medis akhirnya berhadapan dengan kewajiban pencatatan dan pengelolaan tersebut.

Permenkes No. 11 Tahun 2025 mewajibkan pemegang izin bertanggung jawab atas setiap alat kesehatan. Aturan itu meminta praktik pembelajaran mesin yang baik (Good Machine Learning Practice/GMLP) untuk perangkat lunak AI/ML. Pemegang izin juga harus menjaga keamanan data pasien, menjamin transparansi fitur AI, mengelola risiko, serta memiliki kebijakan pelaporan insiden. Kewajiban produk itu tidak menggantikan pengelolaan alur kerja oleh rumah sakit.

UU No. 27 Tahun 2022 menempatkan data kesehatan sebagai data pribadi spesifik dan meminta penilaian dampak untuk pemrosesan berisiko tinggi. Pengendali menentukan tujuan dan kendali pemrosesan, sedangkan prosesor bekerja atas nama pengendali. Kontrak dengan vendor perlu mencerminkan peran nyata, lokasi pemrosesan, akses, retensi, penghapusan, dan penanganan kegagalan pelindungan data.

Posisi	Sebelum digunakan	Bukti setelah insiden
Fasilitas pelayanan kesehatan	Menetapkan tujuan, alur klinis, hak akses, pemilik risiko, kriteria penghentian, dan layanan pengganti.	Keputusan penerapan, konfigurasi, catatan penggunaan, laporan insiden, serta alasan membatasi atau menghentikan sistem.
Tenaga medis dan tenaga kesehatan	Memahami keluaran, batas penggunaan, titik pemeriksaan, cara koreksi, dan jalur eskalasi sesuai kewenangannya.	Catatan pemeriksaan, perubahan keluaran, identitas penanda tangan, serta keputusan klinis yang akhirnya diambil.
Pemegang izin dan pemasok	Menjelaskan tujuan, data pengembangan, kinerja, batasan, versi, pembaruan, keamanan, dan dukungan produk.	Riwayat versi, bukti validasi, keluhan produk, analisis kegagalan, perbaikan, dan pemberitahuan kepada pengguna.
Pengelola data dan sistem	Memetakan sumber, tujuan pemrosesan, hak akses, pertukaran data, retensi, dan rekam audit.	Jejak akses, asal data, masukan, keluaran, versi model, perubahan catatan, dan kegagalan integrasi.

Matriks tersebut menunjukkan posisi kerja, bukan putusan hukum otomatis. Satu pihak bisa memegang lebih dari satu posisi, terutama ketika rumah sakit mengembangkan model sendiri. Pihak ketiga juga belum tentu menjadi prosesor data bila ia menentukan tujuan pemrosesan bersama fasilitas.

Tujuan penggunaan menentukan batas pertama

Tujuan penggunaan (intended use) harus menyebut pengguna, populasi, masukan, keluaran, keputusan yang dibantu, dan situasi yang dilarang. Perangkat administrasi tidak sama dengan alat yang ditujukan untuk diagnosis atau terapi. Perubahan antarmuka yang mendorong pemakaian di luar tujuan semula bisa menggeser risiko meski modelnya tidak berubah. Batas itu perlu masuk ke dokumen pengadaan, pelatihan, dan uji penerimaan.

Prinsip GMLP International Medical Device Regulators Forum (IMDRF) 2025 menghubungkan tujuan penggunaan dengan konteks alur klinis dan risiko pasien. Dokumen itu meminta keahlian multidisiplin sepanjang siklus hidup produk. Penilaian juga harus melihat kinerja tim manusia-AI dalam lingkungan penggunaan, bukan model secara terpisah. Informasi kepada pengguna mencakup batasan, data pengembangan, pembaruan, dan cara menyampaikan masalah produk.

Ketidaksesuaian tujuan mudah terlihat pada sistem yang dijual sebagai penyusun ringkasan, tetapi menampilkan saran klinis tanpa jalur pemeriksaan yang jelas. Rumah sakit perlu membandingkan klaim pemasaran, izin edar, dokumentasi teknis, dan perilaku antarmuka. Setiap perbedaan dicatat sebagai temuan penerimaan sebelum sistem menyentuh data pasien. Produk tidak siap dipakai bila keluaran dan pengguna akhirnya berbeda dari bukti yang diuji.

Data, model, dan pemeriksa harus tersambung dalam satu jejak

Setiap keluaran perlu menunjuk sumber data, waktu pengambilan, versi perangkat lunak, versi model, dan aturan pemrosesan yang berlaku. Catatan juga menghubungkan pemeriksa, perubahan yang dibuat, dan keputusan setelah pemeriksaan. Tanpa pasangan tersebut, rumah sakit sulit membedakan kesalahan data sumber, kegagalan model, masalah integrasi, dan kelalaian pemeriksaan. Tangkapan layar hasil akhir tidak cukup untuk analisis insiden.

Fast Healthcare Interoperability Resources (FHIR) adalah standar pertukaran informasi kesehatan dari Health Level Seven International (HL7). Komponen Provenance FHIR mencatat aktivitas yang membuat, merevisi, menghapus, atau menandatangani data beserta entitas dan pelaku terkait. Struktur itu membantu menelusuri asal serta perubahan informasi. FHIR tidak menetapkan siapa yang boleh mengakses data atau siapa yang menanggung akibat klinis.

Jejak AI memerlukan rincian tambahan di luar identitas data klinis. Nomor model, konfigurasi, templat instruksi, ambang keputusan, dan waktu aktivasi perlu tersimpan bersama kejadian. Riwayat koreksi manusia juga diperlukan untuk melihat pola kegagalan yang berulang. Data audit harus terlindungi dari perubahan tanpa hak dan tetap tersedia selama masa yang ditetapkan.

Pemeriksaan manusia harus tampak dalam alur kerja

Organisasi Kesehatan Dunia (WHO) meminta manusia tetap mengendalikan sistem kesehatan dan keputusan medis. WHO juga menempatkan tanggung jawab pada pemangku kepentingan agar AI dipakai dalam kondisi tepat oleh orang yang terlatih. Mekanisme untuk mempertanyakan keputusan dan memperoleh pemulihan harus tersedia bagi pihak yang terdampak. Prinsip ini tidak menetapkan pembagian tanggung jawab hukum untuk kasus Indonesia.

Pemeriksaan manusia perlu dibangun sebagai tindakan yang bisa dibuktikan. Antarmuka membedakan draf, masukan tidak memadai, hasil di luar tujuan, serta keluaran yang siap ditinjau. Pengguna harus bisa memperbaiki, menolak, atau meneruskan hasil melalui langkah yang tercatat. Persetujuan otomatis pada setiap keluaran hanya menciptakan tanda centang tanpa pengawasan bermakna.

Kewajiban meninjau catatan akhir tidak menghapus cacat desain, data, atau integrasi. Sebaliknya, janji akurasi dari pemasok tidak menghapus kewajiban fasilitas mengatur penggunaan dan pemeriksaan. Kontrak perlu membedakan kegagalan produk, kesalahan konfigurasi, penggunaan di luar tujuan, dan akses data tanpa hak. Pembagian biaya atau ganti rugi kemudian mengikuti fakta serta ketentuan yang berlaku, bukan label AI semata.

Pemantauan berlanjut setelah sistem dipasang

Model yang lolos uji awal masih bisa berubah kinerjanya ketika populasi, perangkat, pola rujukan, atau cara pencatatan bergeser. Pemantauan perlu memisahkan kesalahan menurut jenis, kelompok pasien, lokasi, waktu, dan versi. Tingkat koreksi manusia juga memberi sinyal ketika keluaran makin sering membutuhkan perbaikan. Nilai dasar dan ambang tindakan harus ditetapkan sebelum peluncuran.

GMLP IMDRF meminta pemantauan model terpasang dan pengendalian risiko pelatihan ulang, termasuk bias serta penurunan kinerja. Permenkes No. 11 Tahun 2025 juga meminta pemegang izin memiliki kebijakan pelaporan insiden untuk perangkat lunak AI/ML. Rumah sakit memerlukan saluran yang menghubungkan keluhan pengguna dengan laporan produk dan insiden keselamatan. Pemasok perlu menerima informasi yang cukup tanpa memperoleh akses data melebihi tujuan yang disepakati.

Pemicu tindakan harus ditulis sebelum masalah terjadi. Pilihannya mencakup pembatasan kelompok penggunaan, penghentian sementara, pemulihan versi sebelumnya, atau kembali ke alur tanpa AI. Wewenang mengaktifkan tindakan itu tidak boleh bergantung pada satu orang yang mungkin tidak tersedia. Keputusan, waktu, alasan, dan hasil pemulihan disimpan dalam catatan insiden.

PCCP mengatur perubahan di Amerika Serikat, bukan tanggung jawab Indonesia

Rencana pengendalian perubahan yang ditetapkan sebelumnya (predetermined change control plan/PCCP) dinilai bersama pengajuan pemasaran alat berbasis AI. Panduan final FDA Agustus 2025 meminta PCCP memuat perubahan terencana, metode pengembangan dan validasi, serta penilaian dampaknya. FDA menilai rencana tersebut melalui jalur 510(k), De Novo, dan PMA. Modifikasi yang sudah tercakup bisa dikelola tanpa pengajuan pemasaran baru untuk setiap perubahan.

PCCP tidak menjadi izin pembaruan di Indonesia dan tidak memindahkan tanggung jawab klinis kepada regulator Amerika Serikat. Kerangka itu berguna sebagai contoh dokumentasi perubahan yang bisa diminta dalam pengadaan. Kontrak dapat memuat ruang perubahan, bukti uji, pemberitahuan, penerimaan versi, pemantauan, serta pemulihan. Perubahan di luar ruang yang disetujui harus memicu penilaian baru.

Pedoman operasional Indonesia masih menjadi celah

Kementerian Kesehatan (Kemenkes) pada Juni 2026 masih menyebut rekomendasi kebijakan dan pedoman nasional sebagai keluaran yang diharapkan dari forum AI kesehatan. Forum itu membahas regulasi, tata kelola data medis, keamanan siber, persetujuan pasien, dan telaah etik. Rumusan tersebut menunjukkan proses penyusunan, bukan pedoman operasional yang sudah selesai. Aturan rekam medis, alat kesehatan, dan data pribadi tetap berlaku pada ranah masing-masing.

Badan Kebijakan Pembangunan Kesehatan (BKPK) mencatat kajian tata kelola AI kesehatan dengan batas akhir proses 31 Desember 2026. Pertanyaan kebijakannya mencakup keselamatan pasien, pelindungan data, keandalan hasil, dan acuan operasional bagi fasilitas. Halaman pemantauan yang diperiksa belum memuat laporan akhir. Status kajian tidak membuktikan bahwa proyek atau pengendalian internal belum berjalan.

Sampai artikel ini disusun, kami belum menemukan pedoman nasional operasional yang membagi tanggung jawab kesalahan AI medis menurut peran. Kami juga belum menemukan statistik nasional terbuka tentang insiden model dan pola koreksi manusia di rumah sakit Indonesia. Kesenjangan tersebut membatasi perbandingan antarproduk dan antarfasilitas. Kontrak, prosedur internal, atau berkas registrasi yang tidak terbuka mungkin memuat rincian tambahan.

Enam bukti perlu diperiksa sebelum pengadaan

Paket pengadaan perlu menghubungkan janji produk dengan bukti yang bisa diuji di lingkungan rumah sakit. Dokumen yang terpisah tanpa identitas produk dan versi yang sama akan melemahkan penelusuran. Enam kelompok berikut membentuk rantai minimum untuk penerimaan dan penanganan insiden. Isinya disesuaikan dengan tujuan serta tingkat risiko produk.

1. Tujuan dan batas penggunaan. Dokumen menyebut pengguna, populasi, masukan, keluaran, keputusan yang dibantu, larangan, serta status izin produk.
2. Data dan kinerja setempat. Bukti menjelaskan asal data, keterwakilan kelompok pasien, perangkat, standar pembanding, hasil per kelompok, dan kondisi gagal.
3. Alur manusia-AI. Uji penerimaan mencakup pemeriksaan, koreksi, penolakan, eskalasi, penandatanganan catatan, dan layanan ketika sistem tidak tersedia.
4. Jejak data dan versi. Catatan menghubungkan masukan, keluaran, model, konfigurasi, waktu, pemeriksa, perubahan, serta keputusan berikutnya.
5. Pembaruan dan penghentian. Kontrak menetapkan pemberitahuan, validasi versi, ambang tindakan, pemulihan versi, penghentian, dan pengembalian data saat layanan berakhir.
6. Insiden dan pembagian kerja. Matriks menyebut penerima laporan, batas waktu respons, penyelidikan, komunikasi pihak terdampak, perbaikan, dan persetujuan penggunaan kembali.

Enam kelompok bukti itu tidak menggantikan penilaian hukum atau klinis. Nilainya terletak pada kemampuan menghubungkan kejadian dengan data, sistem, orang, dan keputusan yang sama. Ketika insiden terjadi, rumah sakit tidak perlu menebak pihak yang memegang catatan, kewenangan, atau tindakan berikutnya.