Chatbot bisa menyusun nama, tanggal, kutipan, atau daftar pustaka yang tidak pernah ada dengan kalimat yang tetap terdengar meyakinkan. Gejala ini disebut halusinasi AI (AI hallucination), yakni keluaran yang tampak masuk akal tetapi salah atau tidak memiliki dasar. Masalahnya bukan sekadar pilihan kata yang buruk. Cara model mempelajari pola dan cara kinerjanya dinilai ikut menentukan apakah model menebak atau mengakui ketidakpastian.

Kesalahan muncul sebelum model menjawab pengguna

Makalah Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, dan Edwin Zhang pada September 2025 menelusuri halusinasi ke tahap prapelatihan dan pascapelatihan. Dalam prapelatihan, model memperkirakan pola dari kumpulan contoh. Kesalahan tetap muncul ketika pernyataan salah sulit dibedakan secara statistik dari fakta, bahkan dalam gambaran teoretis dengan data pelatihan yang bersih. Analisis itu tidak menyatakan bahwa setiap jawaban salah memiliki satu penyebab yang sama.

Para penulis memberi contoh pertanyaan tentang tanggal lahir Kalai kepada model sumber terbuka. Model diminta menjawab hanya jika mengetahui jawabannya, tetapi menghasilkan tiga tanggal berbeda dalam tiga percobaan. Ketiganya salah. Contoh tersebut menunjukkan bahwa instruksi untuk berhati-hati belum tentu mengalahkan kecenderungan model menghasilkan kelanjutan yang tampak layak.

Lembar jawaban pilihan ganda dan pensil di atas meja yang menggambarkan situasi menebak (ilustrasi)

Penilaian biner membuat tebakan lebih menguntungkan

Banyak tolok ukur memberi nilai ketika jawaban benar dan tidak memberi nilai ketika jawaban salah. Pengakuan “tidak tahu” juga tidak menghasilkan nilai. Dalam susunan seperti ini, model yang selalu menebak bisa mengungguli model yang jujur tentang ketidakpastian. Peringkat model akhirnya ikut mempertahankan perilaku yang ingin dikurangi.

Makalah tersebut mengusulkan perubahan pada tolok ukur utama, bukan sekadar penambahan tes khusus halusinasi. Jawaban salah perlu menerima konsekuensi sesuai ambang keyakinan, sehingga menahan jawaban menjadi pilihan yang masuk akal saat bukti lemah. Usulan ini membahas insentif evaluasi, bukan obat tunggal bagi semua kesalahan model. Sistem pencarian dokumen pun masih bisa gagal ketika sumber tidak ditemukan atau perhitungan model keliru.

Insinyur menelaah grafik data dan hasil pengujian model AI pada monitor (ilustrasi)

Audit kesehatan menemukan separuh jawaban bermasalah

Studi BMJ Open yang diumumkan pada 15 April 2026 menguji ChatGPT, Gemini, Meta AI, Grok, dan DeepSeek dengan 250 pertanyaan kesehatan. Topiknya mencakup kanker, vaksin, sel punca, gizi, dan performa olahraga. Sebanyak 50 persen jawaban dinilai bermasalah: 30 persen agak bermasalah dan 20 persen sangat bermasalah. Hanya dua dari 250 permintaan yang ditolak oleh chatbot.

Kualitas rujukan juga lemah. Skor kelengkapan rujukan rata-rata hanya 40 persen, dan tidak ada chatbot yang menghasilkan daftar referensi sepenuhnya akurat. Tautan atau judul ilmiah di dalam jawaban karena itu bukan bukti bahwa klaim telah diverifikasi. Pemeriksaan perlu mencocokkan isi sumber dengan pernyataan yang ditopangnya.

Angka tersebut tidak mewakili seluruh penggunaan chatbot. Peneliti hanya menilai lima layanan pada Februari 2025, sedangkan model komersial berubah cepat. Pertanyaannya juga sengaja dirancang untuk menguji kerentanan terhadap misinformasi dan saran berkontraindikasi. Desain itu mungkin memperbesar proporsi jawaban bermasalah dibandingkan pertanyaan sehari-hari.

Seseorang membaca informasi kesehatan melalui komputer tablet di rumah (ilustrasi)

Indonesia masih menyusun arah tata kelola AI kesehatan

Kementerian Kesehatan (Kemenkes) pada 8 Juni 2026 menyebut hasil yang bias atau keliru, kesalahan diagnosis, dan ancaman terhadap data pasien sebagai risiko AI kesehatan. Kemenkes mengharapkan rekomendasi mengenai aturan alat kesehatan berbasis AI, tata kelola data, persetujuan pasien, dan kapasitas komite etik. Pernyataan itu menunjukkan agenda kebijakan masih bergerak dari pembahasan risiko menuju pedoman operasional. Rilis tersebut tidak menetapkan kewajiban khusus untuk mengungkap halusinasi AI kepada pasien.

Sampai artikel ini disusun, kami belum menemukan dokumen resmi dari lembaga di Indonesia yang menetapkan kewajiban khusus untuk mengungkap halusinasi AI kepada pasien. Kesenjangan informasi ini tidak membuktikan bahwa tidak ada rumah sakit yang memiliki aturan internal. Tanpa dokumen publik, praktik antar-fasilitas juga belum bisa dibandingkan. Pernyataan tentang penerapan nasional karena itu belum memiliki dasar yang cukup.

Tenaga kesehatan dan staf teknologi informasi membahas dokumen di ruang rapat (ilustrasi)

Pengamanan perlu bekerja sebelum dan sesudah keluaran

Perubahan instruksi sistem bisa mendorong model menyatakan ketidakpastian, tetapi tidak menjamin setiap pernyataan benar. Pencarian berbasis dokumen membantu ketika sumber tepercaya tersedia dan berhasil ditemukan. Setiap kutipan tetap memerlukan pemeriksaan apakah dokumennya ada, dapat dibuka, dan benar-benar mendukung klaim. Pada layanan kesehatan, keluaran model tidak layak menjadi keputusan diagnosis atau terapi tanpa penilaian tenaga kesehatan.

Bagi pengelola platform, ukuran keberhasilan tidak cukup berhenti pada jumlah jawaban yang tampak membantu. Pengujian perlu mencatat jawaban salah, penolakan yang semestinya, sumber yang dibuat-buat, dan kinerja pada kelompok pengguna berbeda. Jalur eskalasi manusia diperlukan ketika dampak kesalahan tinggi. Catatan versi model dan sumber juga membuat insiden bisa ditelusuri setelah sistem diperbarui.

Halusinasi bukan alasan untuk menyamakan semua keluaran AI dengan informasi palsu. Model tetap berguna untuk menyusun draf, merangkum dokumen, dan membantu pencarian bila ada proses pemeriksaan. Batas utamanya terletak pada jarak antara kalimat yang terdengar benar dan bukti yang benar-benar tersedia. Tata kelola yang baik dirancang dengan asumsi bahwa jarak tersebut tidak pernah otomatis hilang.