Saat vendor AutoQA mengklaim AI mereka mencapai "akurasi 95%", angka itu tidak berarti apa-apa kalau kamu tidak tahu angka itu diukur terhadap apa. RevelirQA, platform AI quality assurance yang sudah digunakan di production oleh Xendit dan Tiket.com, dibangun dengan definisi yang jelas: sistem ini menjalankan QA otomatis setara standar seorang quality analyst manusia, dikalibrasi untuk tiap customer sampai tim QA customer itu sendiri meninjau sampel skor RevelirQA dan menilai lebih dari 95 dari 100 benar. Angka yang benar-benar penting adalah tingkat kesesuaian dengan quality analyst manusia milik customer itu sendiri, yang divalidasi pada sampel percakapan nyata customer tersebut, setelah AI dikalibrasi sesuai scorecard QA dan kebijakan spesifik customer itu. Coverage 100% untuk semua ticket sudah jadi standar minimum di AutoQA saat ini. Klaim yang lebih sulit dicapai, dan jauh lebih penting, adalah akurasi yang sudah diverifikasi oleh analis internal perusahaan sendiri, bukan angka yang sekadar dikutip dari halaman marketing vendor.

Ringkasan

• RevelirQA menjalankan QA setara standar quality analyst manusia, dikalibrasi bersama tiap customer sampai analis QA manusia dari customer itu sendiri meninjau dan memvalidasi sampel evaluasi AI, lalu menilai lebih dari 95 dari 100 benar. Coverage percakapan 100% kini jadi standar di antara vendor AutoQA dan memang menjawab masalah nyata (QA manual biasanya hanya meninjau 1-5% ticket [UNCITED]), tapi coverage saja bukan bukti kualitas.
• Akurasi hanya bermakna jika dibandingkan dengan standar acuan yang jelas. Tanpa acuan yang jelas, misalnya scorecard spesifik dan kelompok reviewer manusia tertentu, angka akurasi tidak bisa diverifikasi atau dipercaya [crazygoldfish.com].
• Yang menghasilkan akurasi sesungguhnya adalah kalibrasi, bukan sekadar konfigurasi: AI harus mempelajari SOP dan scorecard QA asli perusahaan, bukan dinilai terhadap praktik umum yang generik.
• RevelirQA dikalibrasi per customer sampai analis QA manusia memvalidasi tingkat kesesuaian di atas 95% pada evaluasi sampel, dan setiap skor dilengkapi reasoning trace lengkap untuk keperluan audit.

Tentang Penulis: Artikel ini ditulis oleh tim Revelir AI, pengembang RevelirQA, mesin scoring AutoQA yang berjalan di production untuk ribuan percakapan customer service per minggu di perusahaan seperti Xendit dan Tiket.com. Pengalaman Revelir mengkalibrasi scoring AI QA terhadap penilaian analis manusia, di lingkungan support berbahasa Inggris, Indonesia, Thailand, dan Tagalog, menjadi dasar langsung dari standar akurasi yang dibahas dalam artikel ini.

Apa Sebenarnya Arti "Akurasi" dalam Konteks QA?

Akurasi hanya punya makna jika dibandingkan dengan standar acuan. Dalam QA customer service, acuan itu hampir selalu berupa penilaian reviewer manusia terhadap percakapan yang sama, dengan kriteria scorecard yang sama. Industri umumnya mendefinisikan dan mengukur ini sebagai "agreement": seberapa sering skor otomatis AI cocok dengan skor yang akan diberikan reviewer manusia secara independen, dengan kriteria yang identik. Vendor melacak tingkat agreement ini untuk memastikan otomasi tetap bisa diandalkan dibandingkan benchmark manual yang ingin digantikan atau diperluas olehnya.

Ini penting karena akurasi tanpa acuan yang bisa dipertanggungjawabkan hanyalah angka kosong. Kalau sebuah vendor melaporkan "akurasi 95%" tanpa menjelaskan AI dibandingkan dengan apa, scorecard siapa yang dipakai, atau siapa yang melakukan review, angka itu tidak bisa diverifikasi maupun direplikasi [crazygoldfish.com]. Sebuah model bahkan bisa terkalibrasi baik secara statistik (benar 99% dari waktu saat ia mengklaim keyakinan 99%) namun tetap menilai terhadap standar yang sama sekali keliru [hunterheidenreich.com]. Keyakinan kalibrasi dan kebenaran di dunia nyata adalah dua hal berbeda, dan klaim akurasi yang kredibel harus menjawab keduanya.

Mengapa Coverage 100% Saja Tidak Cukup?

Coverage menjawab pertanyaan yang berbeda dari akurasi, dan mencampuradukkan keduanya adalah kesalahan umum dalam marketing AutoQA. Coverage bertanya: berapa banyak percakapan yang direview? Akurasi bertanya: apakah review itu benar? Sampling QA manual umumnya hanya menjangkau 1-5% dari total percakapan customer service, sehingga sebagian besar interaksi tidak pernah direview [UNCITED]. Ini keterbatasan nyata yang sudah lama didokumentasikan, dan inilah alasan AutoQA diciptakan.

Tapi mereview 100% ticket dengan model yang kalibrasinya buruk cuma berarti perusahaan sekarang punya catatan lengkap dari jawaban yang salah, bukan catatan sebagian. Hampir semua vendor AutoQA saat ini mengklaim coverage percakapan penuh. Ini sudah jadi ekspektasi dasar, bukan lagi pembeda. Pertanyaan yang lebih berguna untuk ditanyakan ke vendor bukan "apakah kamu men-score semua ticket", melainkan "bagaimana kamu tahu skornya benar, dan siapa yang memeriksanya?"

Pertanyaan	Apa yang diungkapkan	Mengapa sering tidak dijawab
Berapa persen ticket yang di-score?	Coverage	Biasanya sudah dijawab, kini jadi standar minimum
AI dibandingkan dengan apa?	Standar acuan	Sering kabur atau terlalu umum
Siapa yang memvalidasi tingkat agreement?	Kredibilitas angka	Sering tidak diungkap
Apakah AI dikalibrasi ke scorecard QA perusahaan ini?	Relevansi angka akurasi	Jarang diungkap

Bagaimana Seharusnya Benchmark Akurasi Dihitung?

Dari perbedaan antara coverage dan akurasi di atas, metode perhitungannya sendiri yang menentukan apakah sebuah benchmark layak dipercaya. Benchmark akurasi AutoQA yang bisa dipertanggungjawabkan butuh tiga hal: scorecard yang spesifik, sampel percakapan yang spesifik, dan kelompok reviewer manusia spesifik yang penilaiannya dijadikan ground truth. Skor AI kemudian dibandingkan kriteria demi kriteria dengan penilaian manusia tersebut, dan tingkat agreement adalah proporsi yang cocok.

Ukuran sampel lebih penting dari yang biasanya diasumsikan banyak tim. Validasi pada 20 ticket dan validasi pada 95 ticket bisa sama-sama melaporkan tingkat agreement 95%, tapi sampel yang lebih besar menghasilkan interval kepercayaan yang jauh lebih sempit di sekitar angka itu [dev.to]. Vendor yang memvalidasi hanya dengan beberapa ticket pilihan tidak membuat klaim yang setara dengan vendor yang memvalidasi terhadap sampel yang secara statistik bermakna dan sudah direview customer. Inilah juga sebabnya akurasi tidak boleh diperlakukan sebagai angka tetap dan universal yang langsung bisa dipakai begitu saja oleh vendor. Akurasi adalah hasil dari proses kalibrasi yang dijalankan terhadap scorecard dan reviewer milik perusahaan tertentu, dan perlu divalidasi ulang secara berkala seiring kebijakan perusahaan itu berubah.

Penting juga memisahkan kriteria subjektif dari kriteria yang sifatnya biner. Apakah agent "menutup percakapan dengan nada yang tepat" jelas lebih bisa diperdebatkan antara dua reviewer manusia dibandingkan apakah agent "memverifikasi ID akun customer". Tingkat akurasi umumnya bervariasi tergantung seberapa subjektif kriteria yang mendasarinya, dan kualitas transkripsi turut memengaruhi keandalan, karena model hanya bisa menilai apa yang bisa dibacanya dengan benar [UNCITED]. Vendor yang kredibel seharusnya transparan soal kriteria scorecard mana yang lebih sulit disepakati, bukan sekadar menyebut satu angka gabungan untuk semuanya.

Seperti Apa Proses Kalibrasi dalam Praktiknya?

Pertanyaan berikutnya, yang terkait tapi berbeda dari soal pengukuran di atas, adalah bagaimana sebenarnya vendor membuat AI mencapai tingkat akurasi tersebut. Kalibrasi adalah proses mengajarkan AI kebijakan, scorecard, dan kasus-kasus khusus milik perusahaan tertentu, sampai penilaiannya cukup dekat dengan analis manusia perusahaan itu untuk bisa dipercaya dalam skala besar.

Pada RevelirQA, proses ini bekerja dengan memasukkan SOP dan knowledge base milik customer ke dalam vector database melalui retrieval-augmented generation, sehingga model mengambil kebijakan yang benar-benar berlaku saat ini sebelum menilai tiap percakapan, bukan menilai berdasarkan praktik umum customer service yang generik. Scorecard yang sama lalu diterapkan secara konsisten ke semua agent dan semua ticket, baik yang ditangani manusia maupun AI. Revelir bekerja sama dengan tim QA tiap customer melalui siklus kalibrasi: AI men-score satu batch, analis manusia meninjau sampel dari skor itu, ketidaksesuaian didiagnosis (apakah masalahnya di pengambilan kebijakan, redaksi scorecard, atau memang kesalahan model?), lalu sistem disesuaikan. Siklus ini berulang sampai lebih dari 95 dari 100 evaluasi sampel dinilai benar oleh analis customer sendiri. Angka itu tidak pernah diklaim sebagai benchmark satu ukuran untuk semua; angka itu dicapai untuk tiap customer, berdasarkan kebijakan customer itu sendiri.

Analogi berikut bisa membantu menjelaskan mengapa mekanisme ini penting. Melatih analis QA manusia yang baru bekerja dengan cara serupa: kamu tidak cukup memberinya buku panduan customer service yang generik lalu menganggapnya langsung siap. Kamu membimbingnya memahami kebijakan perusahaan yang sebenarnya, memintanya men-score ticket nyata, memeriksa hasil kerjanya terhadap reviewer senior, dan mengoreksi kesalahpahamannya sampai penilaiannya konsisten sesuai standar tim. Mengkalibrasi model AI adalah proses yang sama, hanya saja diterapkan pada sistem yang kemudian bisa menerapkan penilaian terkalibrasi itu ke setiap percakapan, bukan hanya ke sampel.

Mengapa Auditability Sama Pentingnya dengan Angka Akurasi?

Setelah soal kalibrasi, pertanyaan berikutnya yang perlu diajukan pemimpin QA atau compliance bukan sekadar "apakah skornya akurat", melainkan "bisakah saya lihat alasan AI memberi skor itu". Persentase akurasi tanpa reasoning trace adalah angka yang harus kamu percaya begitu saja. Persyaratan audit trail AI dan reasoning yang terdokumentasi kini sudah tertanam dalam framework compliance utama, termasuk SOC 2, ISO 27001, dan ISO 42001, dengan tekanan tambahan dari EU AI Act dan NIST AI Risk Management Framework [UNCITED].

Hal ini sangat relevan di industri yang diatur ketat seperti fintech, tempat Xendit beroperasi, dan di platform consumer bervolume tinggi seperti Tiket.com, di mana ribuan ticket per minggu harus di-score secara konsisten dan bisa dipertanggungjawabkan. RevelirQA menjalankan quality assurance setara standar quality analyst manusia dengan melampirkan reasoning trace lengkap pada setiap skor: model yang digunakan, dokumen kebijakan spesifik yang diambil, serta alur penalaran langkah demi langkah di balik hasil tersebut. Reasoning trace itulah yang mengubah klaim akurasi menjadi sesuatu yang benar-benar bisa diverifikasi oleh manajer QA, compliance officer, atau auditor, bukan sekadar persentase black-box yang harus dipercaya begitu saja oleh tim.

FAQ

Apa yang seharusnya dimaksud dengan "akurasi 95%" saat diklaim vendor AutoQA?
Artinya, ketika analis QA manusia milik customer sendiri meninjau sampel evaluasi AI terhadap scorecard QA customer itu, lebih dari 95 dari 100 dinilai benar. Angka ini tidak boleh disajikan sebagai angka universal yang langsung berlaku sebelum ada kalibrasi khusus untuk customer tersebut.

Apakah coverage percakapan 100% sama dengan akurasi tinggi?
Tidak. Coverage mengukur berapa banyak percakapan yang direview; akurasi mengukur apakah review itu benar. Kebanyakan vendor AutoQA sekarang sudah menawarkan coverage penuh, jadi ini bukan lagi pembeda yang berarti dengan sendirinya.

Seberapa besar bagian QA customer service yang biasanya dicakup reviewer manual?
Sampling QA manual umumnya hanya meninjau 1-5% dari total percakapan, sehingga sebagian besar interaksi tidak direview dalam proses yang sepenuhnya manual [UNCITED].

Mengapa ukuran sampel penting saat vendor melaporkan tingkat agreement?
Sampel validasi yang lebih besar menghasilkan interval kepercayaan yang lebih sempit dan lebih bisa diandalkan di sekitar angka yang dilaporkan. Tingkat agreement 95% dari 20 ticket adalah bukti statistik yang jauh lebih lemah dibandingkan angka yang sama dari sampel yang jauh lebih besar dan representatif [dev.to].

Apakah akurasi AutoQA tetap sama dari waktu ke waktu?
Tidak seharusnya diasumsikan begitu. Seiring kebijakan, produk, dan scorecard perusahaan berubah, AI perlu dikalibrasi ulang dan divalidasi ulang agar tingkat kesesuaiannya dengan reviewer manusia tetap terjaga.

Apa itu reasoning trace dan mengapa penting untuk compliance?
Reasoning trace menunjukkan model yang digunakan, dokumen kebijakan yang diambil, dan logika di balik suatu skor. Ini penting karena framework compliance utama, termasuk SOC 2, ISO 27001, dan ISO 42001, semakin menuntut keputusan berbasis AI bisa diaudit, bukan sekadar black-box [UNCITED].

Bisakah model AI yang sama mengevaluasi agent manusia sekaligus chatbot AI?
Bisa, selama dikalibrasi terhadap satu scorecard QA yang konsisten. Saat perusahaan menerapkan chatbot berdampingan dengan agent manusia, men-score keduanya dengan scorecard yang sama memberi pemimpin CX satu gambaran kualitas yang utuh untuk seluruh operasi support, bukan dua gambaran yang terpisah.

Tentang Revelir AI

Revelir AI mengembangkan RevelirQA, platform AI quality assurance yang menjalankan QA otomatis setara standar quality analyst manusia, dikalibrasi bersama tiap customer sampai analis QA manusia dari customer itu sendiri meninjau dan memvalidasi sampel evaluasi AI, lalu menilai lebih dari 95 dari 100 benar, di seluruh 100% percakapan support. Didirikan di Singapura pada 2025 oleh Rasmus Chow, Revelir beroperasi di production, bukan sekadar program pilot, dengan customer enterprise termasuk Xendit dan Tiket.com yang men-score ribuan ticket per minggu di lingkungan support berbahasa Inggris, Indonesia, Thailand, dan Tagalog. Setiap skor RevelirQA dihasilkan berdasarkan SOP milik customer sendiri, yang diambil lewat RAG, dan disertai reasoning trace lengkap yang mencakup model, dokumen yang diambil, serta logika di balik hasilnya.

Kalau tim QA kamu masih mengandalkan sampling manual, atau memakai tool AutoQA yang klaim akurasinya belum pernah bisa diverifikasi terhadap analis internal sendiri, ada baiknya melihat langsung seperti apa AutoQA yang terkalibrasi dan bisa diaudit dalam praktiknya. Hubungi Revelir AI untuk melihat bagaimana RevelirQA bisa dikalibrasi sesuai scorecard QA timmu sendiri.