Kuantisasi model AI: menguji INT8, INT4, dan risiko penerapan

Kuantisasi model AI (mengubah bobot atau aktivasi menjadi representasi dengan bit lebih sedikit) mengurangi ruang penyimpanan dan pemrosesan angka model. Tujuannya ialah mengurangi ukuran model, kebutuhan memori, dan lalu lintas data di perangkat. Namun, label FP16, INT8, atau INT4 tidak menjamin inferensi lebih cepat maupun keluaran tetap setara. Hasilnya harus diuji pada data dan perangkat keras yang benar-benar dipakai.

Pilihan format mengikat model, operator, mesin inferensi, pengandar (driver), dan cip dalam satu jalur. Mesin inferensi masih bisa menjalankan sebagian lapisan pada presisi lebih tinggi walau berkas model mengecil. Karena itu, kuantisasi bukan pengaturan universal untuk semua perangkat. Pemilihan model tetap perlu menguji tugas, data, biaya, dan jalur penggantian sebelum format produksi ditetapkan.

Bit yang lebih sedikit mengubah ukuran dan ketelitian

Model menyimpan bobot, sedangkan aktivasi muncul saat data bergerak melalui setiap lapisan. FP32 memakai 32 bit untuk satu nilai, sementara INT8 memakai delapan bit. Secara teoretis, satu nilai INT8 memakai seperempat ruang satu nilai FP32 sebelum metadata dihitung. TensorFlow menjelaskan konversi bobot ke bilangan titik mengambang 16 bit atau bilangan bulat delapan bit.

Bit lebih sedikit menyempitkan rentang dan jarak nilai yang bisa diwakili. Pembulatan atau penjepitan nilai kemudian memunculkan selisih dari model asal. Dampaknya bergantung pada distribusi bobot, aktivasi, dan kepekaan tiap lapisan. Kompresi ukuran tidak membuktikan bahwa mutu tugas tetap terjaga.

Faktor skala dan titik nol menentukan pemetaan

Faktor skala (scale) memetakan rentang angka asal ke rentang format sasaran. Titik nol (zero point) mewakili nol dari ruang nilai asal di ruang kuantisasi. ONNX Runtime menuliskan hubungan linear sebagai nilai_fp32 = faktor_skala × (nilai_terkuantisasi - titik_nol). Kesalahan pada titik nol berisiko mengganggu operasi yang memakai pengisian nol (zero padding).

Skala bisa berlaku untuk seluruh tensor, setiap sumbu, atau satu blok nilai. Tensor adalah susunan angka multidimensi yang bergerak antarlapisan model. Pilihan lebih rinci mengikuti distribusi angka dengan lebih dekat, tetapi menambah metadata dan syarat dukungan. Dalam TensorRT, bobot INT8 mendukung skala per tensor atau per sumbu, sedangkan INT4 memakai skala per blok dan terbatas pada bobot.

Kuantisasi bobot saja terutama mengecilkan berkas dan memori untuk memuat model. Akselerator bilangan bulat memerlukan bobot, aktivasi, dan operator yang mendukung format tersebut. TensorFlow menyebut kuantisasi bilangan bulat penuh membutuhkan kumpulan data representatif ketika bobot dan aktivasi sama-sama dikuantisasi. Sampel kalibrasi yang sempit bisa menghasilkan parameter buruk untuk masukan produksi.

PTQ dan QAT menempatkan kuantisasi pada tahap berbeda

Kuantisasi pascapelatihan (post-training quantization/PTQ) mengubah model setelah pelatihan selesai. Pada PTQ statis, data kalibrasi menetapkan parameter aktivasi sebelum inferensi. PTQ dinamis menghitung parameter itu pada setiap inferensi dan menambah beban komputasi. ONNX Runtime menyediakan konversi dinamis, statis, serta alat untuk menelusuri penurunan akurasi.

Pelatihan sadar kuantisasi (quantization-aware training/QAT) mensimulasikan pembulatan dan penjepitan saat model dilatih. Parameter model kemudian beradaptasi terhadap batas format sasaran. NVIDIA mencantumkan PTQ dan QAT sebagai dua alur kuantisasi serta memperingatkan bahwa peningkatan kinerja bisa disertai penurunan akurasi. QAT membutuhkan akses ke proses pelatihan dan biaya komputasi tambahan dibanding konversi pascapelatihan.

PTQ memberi titik awal karena prosesnya lebih singkat dan tidak melatih ulang model. Model asal dan versi kuantisasi kemudian diuji dengan kumpulan data yang sama. Evaluasi mencakup skor keseluruhan, hasil per kelas, masukan ekstrem, dan contoh kegagalan. QAT baru dipertimbangkan ketika PTQ belum memenuhi ambang mutu yang telah ditetapkan.

Bit lebih rendah tidak menjamin inferensi lebih cepat

Kuantisasi tidak memiliki angka percepatan yang berlaku untuk semua sistem. TensorRT-RTX mendukung INT4, INT8, FP4, dan FP8 dengan kemungkinan kompromi pada akurasi. Dokumentasinya tetap merujuk matriks dukungan menurut arsitektur dan operasi perkalian matriks. Model, ukuran batch (kelompok masukan), lebar pita memori, pengandar, dan versi mesin inferensi ikut menentukan hasil.

Format	Lebar tiap nilai	Fungsi dalam evaluasi	Batas awal
FP32	32 bit	Model pembanding dan inferensi yang mengutamakan kompatibilitas	Kebutuhan memori dan lebar pita lebih besar
FP16	16 bit	Inferensi GPU pada perangkat yang mendukung	Operator dan inti komputasi harus cocok
INT8	8 bit	Kuantisasi bobot atau bobot bersama aktivasi	Memerlukan skala, kalibrasi, dan operator bilangan bulat
INT4	4 bit	Kompresi bobot pada alat yang mendukung	Dukungan operator dan arsitektur perlu diperiksa

Rasio bit tidak sama dengan rasio akhir ukuran berkas atau memori. Faktor skala, titik nol, metadata, dan lapisan berpresisi campuran tetap menambah ruang. TensorRT hanya memakai INT4 untuk kuantisasi bobot pada skema yang didokumentasikan. Sebutan “model INT4” karena itu tidak membuktikan seluruh jalur inferensi berjalan dengan operasi empat bit.

Perbandingan produksi mencatat waktu muat, latensi P50 dan P95, permintaan per detik, memori, konsumsi daya, serta mutu tugas. Semua kandidat memakai data, perangkat keras, pengandar, dan kondisi beban yang sama. Catatan uji penerimaan menyimpan sidik digital model, metode kuantisasi, versi data kalibrasi, dan versi mesin inferensi. Prosedur kembali ke model asal ikut diuji sebelum peluncuran.

Akses komputasi Indonesia tetap memerlukan uji format

Pada 13 Agustus 2026, Kementerian Komunikasi dan Digital (Komdigi) menjelaskan strategi AI Indonesia melalui lima lapisan. Lapisan itu mencakup energi, infrastruktur, cip, talenta, dan aplikasi. Pernyataan tersebut juga menyebut pemakaian model fondasi yang tersedia dan pelatihan lanjutan untuk kebutuhan sektor. Dokumen itu tidak menetapkan format INT8, INT4, atau tolok ukur kinerja nasional.

Pada hari yang sama, Komdigi mengumumkan pusat AI berbasis universitas di Universitas Gadjah Mada. GPU Merdeka disebut memberi mahasiswa dan peneliti akses komputasi berkinerja tinggi melalui layanan GPU sesuai permintaan. Halaman tersebut tidak merinci model, mesin inferensi, pengandar, atau format kuantisasi yang didukung. Akses komputasi karena itu tidak bisa dibaca sebagai bukti kompatibilitas INT8 maupun INT4.

Jaringan Dokumentasi dan Informasi Hukum Komdigi memuat Surat Edaran Menteri Komunikasi dan Informatika Nomor 9 Tahun 2023 tentang Etika Kecerdasan Artifisial. Nama kementerian lama dipertahankan karena menjadi judul resmi saat dokumen ditetapkan. Surat edaran berstatus berlaku dan memuat transparansi, pelindungan data pribadi, akuntabilitas, serta manajemen risiko dan krisis. Dokumen itu tidak menetapkan metode teknis kuantisasi atau ambang penurunan akurasi.

Sampai artikel ini disusun, kami belum menemukan dokumen resmi dari lembaga di Indonesia yang memuat matriks dukungan INT8 atau INT4 untuk layanan GPU Merdeka. Kesenjangan itu membuat hasil uji organisasi menjadi bukti utama untuk pengadaan dan penerapan. Klaim pemasok tetap perlu dipisahkan dari hasil uji penerimaan pada lingkungan produksi. Catatan pengujian perlu menyebut tanggal karena dukungan perangkat lunak dan perangkat keras terus berubah.

Uji penerimaan dimulai dari perangkat dan beban nyata

Bagi pengguna perangkat lokal, model lebih kecil mungkin lebih mudah dimuat dalam RAM atau memori akselerator. Namun, nama format tidak menjelaskan aplikasi pelaksana, operator, atau cip yang didukung. Berkas unduhan perlu diperiksa bersama versi model, kebutuhan memori, mesin inferensi, dan lisensi. Dua versi kuantisasi dari model yang sama bisa memberi kecepatan dan mutu berbeda.

Organisasi memulai evaluasi dari beban nyata, panjang masukan dan keluaran, sasaran latensi, serta sensitivitas data. Model asal, PTQ, dan QAT dibandingkan di lingkungan yang sama. Perbedaan kualitas perlu ditelusuri hingga tiap kelas, kelompok pengguna, dan masukan ekstrem. Penghematan biaya baru dihitung setelah kandidat melewati ambang mutu dan kestabilan.

Layanan medis, penilaian kredit, dan keputusan berisiko tinggi membutuhkan pemeriksaan tambahan setelah kuantisasi. Representasi numerik yang berubah membuat validasi versi lama tidak otomatis berlaku. Pengujian mencakup subkelompok, kasus batas, mekanisme gagal aman, pemeriksaan manusia, dan pemulihan versi. Validasi AI medis juga menilai populasi, perangkat, lokasi, dan alur kerja, bukan akurasi agregat saja.

Pertanyaan umum

Apakah kuantisasi selalu menurunkan mutu model?

Penurunan tidak selalu terjadi, tetapi akurasi bisa berubah karena rentang nilai menjadi lebih sempit. Besarnya bergantung pada arsitektur, data, lapisan yang dikuantisasi, dan format sasaran. Model asal dan versi kuantisasi perlu dibandingkan pada tugas yang sama untuk menemukan selisihnya.

Apakah INT4 lebih baik daripada INT8?

INT4 memakai separuh jumlah bit INT8 untuk satu nilai, sehingga potensi kompresi bobotnya lebih besar. Dukungan alat dan perangkat keras INT4 berbeda menurut mesin inferensi dan arsitektur. Format dipilih dari mutu tugas, latensi, memori, konsumsi daya, serta dukungan operator pada perangkat sasaran.

Apakah model terkuantisasi berjalan pada semua GPU atau ponsel?

Kuantisasi tidak menjamin kompatibilitas lintas perangkat. Berkas, operator kuantisasi, inti komputasi berpresisi rendah, pengandar, dan mesin inferensi harus saling cocok. Perangkat tanpa operasi yang sesuai bisa menjalankan bagian model pada presisi lain atau gagal memuatnya.

Kuantisasi paling berguna ketika batas penerapan sudah jelas, seperti memori, ukuran berkas, latensi, atau konsumsi daya. Keberhasilan ditentukan oleh mutu tugas dan kinerja pada perangkat sasaran, bukan label bit. Model masuk layanan produksi setelah memenuhi ambang yang sama dan memiliki jalur pemulihan terdokumentasi.