LifeSciBench menguji apakah model AI mampu menangani pekerjaan ilmu hayati yang lebih rumit daripada soal hafalan. Tolok ukur ini memuat 750 tugas bebas, dari menilai bukti hingga merancang eksperimen dan menghubungkan temuan praklinis dengan pertimbangan klinis. GPT-Rosalind mencatat tingkat kelulusan tertinggi, yakni 36,1 persen. Angka itu menunjukkan kemajuan sekaligus kegagalan pada sebagian besar tugas.

Hasil tersebut berasal dari tolok ukur yang dikembangkan OpenAI, sementara tiga dari lima model peserta juga berasal dari perusahaan itu. Makalahnya tidak menyembunyikan hubungan tersebut dan meminta pembaca mempertimbangkan konteks kelembagaan. Karena itu, LifeSciBench berguna sebagai sinyal teknis, tetapi belum layak menjadi satu-satunya dasar pemilihan sistem untuk laboratorium.

Sistem AI yang diuji untuk membantu pekerjaan penelitian ilmu hayati (ilustrasi)

750 tugas meniru keputusan dalam penelitian

LifeSciBench mencakup 750 tugas pada tujuh alur kerja dan tujuh bidang biologi. Tugasnya berbentuk permintaan bebas yang mungkin diberikan ilmuwan kepada rekan berpengetahuan, bukan pilihan ganda. Bahan pendukung meliputi gambar, PDF, tabel, berkas sekuens, struktur kimia, dan referensi web. Sebanyak 53 persen tugas meminta model menafsirkan sedikitnya satu artefak.

Kontributor terdiri atas 173 ilmuwan dengan pendidikan doktor dan pengalaman di industri bioteknologi atau farmasi. Mereka menyusun tugas serta rubrik yang berjumlah 19.020 kriteria. Sebanyak 453 pakar lain menilai relevansi, landasan ilmiah, dan kegunaan tugas. Makalah menyebut para kontributor eksternal dibayar dan identitas mereka tidak dipublikasikan atas permintaan vendor.

Peralatan sekuensing dan meja kerja di laboratorium ilmu hayati (ilustrasi)

Skor dan tingkat kelulusan mengukur hal berbeda

LifeSciBench melaporkan skor rubrik dan tingkat kelulusan. Skor memberi kredit parsial untuk kriteria yang terpenuhi. Sebuah tugas dinyatakan lulus bila respons memperoleh sedikitnya 70 persen poin pada rubrik tugas tersebut. Dengan definisi ini, tingkat kelulusan 36,1 persen tidak berarti GPT-Rosalind hanya menghasilkan 36,1 persen informasi yang benar.

Makalah mencatat GPT-Rosalind meraih skor rubrik rata-rata 0,576 dan tingkat kelulusan 36,1 persen. GPT-5.5 berada pada 25,7 persen, Gemini 3.1 Pro 23,6 persen, GPT-5.4 20,7 persen, dan Grok 4.3 13,0 persen. Tidak satu pun melampaui separuh tugas. Pada 171 tugas, semua sampel dari seluruh model gagal mencapai ambang kelulusan.

Artefak riset menjadi titik lemah

Perbedaan paling berguna muncul ketika tugas dibagi menurut bahan yang harus dibaca. Tingkat kelulusan GPT-Rosalind turun dari 45,1 persen pada tugas berbasis teks menjadi 28,1 persen pada tugas dengan artefak atau tautan. OpenAI mengaitkan penurunan itu dengan kesulitan mengambil informasi dari gambar rumit atau berkas sekuens besar. Model lalu harus membawa informasi tersebut ke keputusan ilmiah akhir.

Kelemahan lain terlihat pada keluaran yang harus tepat. GPT-Rosalind lulus 14,8 persen tugas numerik dan 24,0 persen tugas dengan keluaran sekuens atau struktur. Kesalahan format kecil bisa menurunkan hasil di bawah ambang, tetapi ketepatan semacam itu memang dibutuhkan untuk desain sekuens atau konstruksi biologis. Jawaban yang terdengar masuk akal belum tentu cukup untuk dipakai dalam eksperimen.

Grafik dan berkas ilmiah yang dianalisis dalam evaluasi model AI (ilustrasi)

Siapa yang membuat ukuran tetap relevan

Kritik terhadap konflik kepentingan perlu dibedakan dari tuduhan manipulasi angka. Tugas dan rubrik ditulis serta ditinjau pakar eksternal, sementara keluaran dinilai berdasarkan kriteria khusus per tugas. Untuk sebagian keluaran, prosesnya memakai penilaian otomatis atau bantuan model. Pakar independen kemudian memeriksa sampel bertingkat untuk membandingkan skor manusia dengan skor otomatis.

Pengungkapan kelembagaan dalam makalah menyatakan LifeSciBench dikembangkan OpenAI dan model OpenAI termasuk peserta yang dinilai. Daftar peserta juga tidak mencantumkan Claude. Makalah tidak menyediakan hasil ilmuwan manusia untuk 750 tugas yang sama. Pembaca akhirnya tidak memiliki garis dasar untuk menilai jarak antara 36,1 persen dan kinerja peneliti.

Rubrik dan hasil evaluasi yang diperiksa oleh penilai (ilustrasi)

Tolok ukur tidak sama dengan dampak penelitian

Pengujian berlangsung satu putaran. Model menerima pertanyaan beserta artefak sekali, lalu memberikan satu jawaban akhir tanpa klarifikasi atau perbaikan. Penelitian nyata biasanya bergerak melalui percakapan, data baru, pengujian hipotesis, dan revisi berulang. Desain satu putaran membantu perbandingan, tetapi mengurangi kemiripan dengan penggunaan sehari-hari.

OpenAI menyatakan LifeSciBench tidak menggantikan studi model dalam lingkungan penelitian langsung. Tolok ukur tidak mengukur waktu yang dihemat, kualitas temuan baru, biaya kesalahan, atau keberhasilan program pengembangan obat. Hasilnya menunjukkan kemampuan pada tugas terpisah dalam kondisi tertentu. Dampak terhadap penelitian membutuhkan studi penerapan yang lebih panjang dan melibatkan putaran umpan balik.

Penerapan di Indonesia memerlukan uji dengan data sendiri

Penerbit Badan Riset dan Inovasi Nasional (BRIN) pada 2023 memetakan 26 penerapan dan empat inisiatif AI di Indonesia. Peta itu mencakup layanan publik dan kesehatan, riset industri, pangan, serta kebencanaan. Dokumen tersebut menunjukkan keluasan penggunaan AI, tetapi tidak menilai model pada tugas penelitian ilmu hayati seperti LifeSciBench. Angkanya karena itu tidak menyediakan pembanding nasional.

Sampai artikel ini disusun, kami belum menemukan dokumen resmi lembaga Indonesia yang melaporkan pengujian LifeSciBench atau tolok ukur sebanding. Belum ada angka publik tentang kinerja model pada artefak laboratorium, bahasa kerja, dan prosedur penelitian milik organisasi Indonesia. Kesenjangan ini tidak membuktikan bahwa pengujian internal belum pernah dilakukan. Artinya, kemampuan lokal belum bisa disimpulkan dari dokumen terbuka yang kami periksa.

Peneliti memeriksa hasil eksperimen dan keluaran model AI di laboratorium (ilustrasi)

Pengadaan perlu menguji alur kerja, bukan nama model

Tim bioteknologi bisa memakai LifeSciBench untuk menemukan jenis risiko yang perlu diuji. Contohnya meliputi pembacaan gambar, ekstraksi dari berkas besar, keluaran sekuens yang presisi, dan keputusan dengan banyak batasan. Namun, angka agregat tidak menjawab model mana yang paling cocok untuk satu laboratorium. Makalah sendiri menemukan bahwa Gemini 3.1 Pro unggul pada 214 tugas meski skor keseluruhannya berada di bawah GPT-Rosalind.

Uji penerapan perlu memakai artefak, format, dan kriteria keberhasilan dari organisasi yang akan menjalankan sistem. Penilaian juga harus memisahkan jawaban parsial dari keluaran yang aman diteruskan ke eksperimen. Pemeriksaan manusia tetap dibutuhkan pada tahap ekstraksi data dan keputusan akhir. LifeSciBench memberi daftar titik rawan yang berguna, sedangkan keputusan pengadaan membutuhkan bukti dari lingkungan pemakai.