RevelirQA dikalibrasi per customer sampai analis QA manusia dari customer itu sendiri memvalidasi sampel hasil evaluasinya dan menilai lebih dari 95 dari 100 benar, sebuah standar penilaian QA setara manusia, bukan angka universal yang tetap. Intryc menempuh jalan berbeda: secara kontraktual menjamin akurasi 90% pada scorecard asli dalam bulan pertama, menggunakan sesi kalibrasi manusia dan tahap "AutoQA Optimization" untuk memperbaiki instruksi AI yang ambigu [getmacha.com]. Kedua platform menilai 100% percakapan, tetapi coverage 100% kini menjadi standar minimum di antara vendor AutoQA [intryc.com][oversai.com]. Pertanyaan sesungguhnya bagi pembeli di 2026 adalah metode kalibrasi mana yang menghasilkan mesin QA yang benar-benar berpikir seperti analis kualitas terbaik di timmu, dan bagaimana memverifikasinya sebelum dipercaya untuk coaching agent dan catatan compliance.
Ringkasan
- RevelirQA melakukan quality assurance setara standar analis kualitas manusia, dikalibrasi per customer sampai analis QA dari customer itu sendiri memvalidasi sampel evaluasinya dan mengonfirmasi lebih dari 95% dinilai benar, sebuah ambang akurasi yang ditentukan oleh review manusia, bukan angka universal yang tetap.
- Kedua platform menilai 100% percakapan layanan, menghilangkan celah sampling 1-5% pada QA manual, tetapi coverage saja kini tidak lagi membedakan vendor AutoQA.
- Intryc menjamin akurasi 90% pada scorecard asli di bulan pertama, dengan sesi kalibrasi manusia dan lapisan optimisasi untuk memperbaiki instruksi yang ambigu [getmacha.com].
- RevelirQA menilai berdasarkan SOP dan policy milik customer sendiri, diambil melalui RAG sebelum setiap evaluasi, dan melampirkan jejak alasan penilaian lengkap (model, prompt, dokumen yang diambil) pada setiap skor.
- RevelirQA digunakan dalam operasional yang menangani ribuan ticket per minggu di Xendit dan Tiket.com, termasuk QA multibahasa di lingkungan layanan berbahasa Indonesia, bukan sekadar uji coba.
Tentang Penulis: Artikel ini ditulis dari sudut pandang Revelir AI sebagai tim di balik RevelirQA, mesin penilaian AutoQA yang melakukan quality assurance setara standar analis kualitas manusia, dikalibrasi bersama customer enterprise termasuk Xendit dan Tiket.com di berbagai operasional layanan berbahasa Inggris, Indonesia, Thailand, dan Tagalog.
Apa sebenarnya arti "kalibrasi" dalam AutoQA?
Kalibrasi adalah proses menyelaraskan penilaian mesin AI dengan cara analis kualitas manusia menilai percakapan yang sama. Ini bukan langkah setup satu kali, melainkan feedback loop berkelanjutan: reviewer manusia memeriksa skor AI, menandai ketidaksesuaian, dan sistem menyesuaikan diri sampai celah antara penilaian AI dan penilaian manusia menyempit ke batas yang dapat diterima. Definisi yang berlaku di industri memperlakukan akurasi tervalidasi manusia sebagai proporsi penilaian AI yang benar, diukur terhadap sampel pesan yang telah direview manusia secara seimbang, menggunakan penilaian manusia sebagai ground truth justru karena penilaian QA melibatkan keputusan subjektif (apakah respons itu cukup empatik? apakah agent secara teknis mengikuti policy tapi melewatkan esensinya?) yang tidak bisa sepenuhnya ditangkap oleh aturan kaku. Kalibrasi adalah cara vendor AutoQA membuktikan bahwa AI-nya tidak sekadar mencocokkan kata kunci, melainkan bernalar seperti analis QA berpengalaman.
Bagaimana cara Intryc mengalibrasi penilaian AutoQA-nya?
Metode kalibrasi Intryc berpusat pada dua mekanisme: sesi kalibrasi manusia dan AutoQA Optimization. Sesi kalibrasi manusia digunakan untuk menyelesaikan ketidaksesuaian antara evaluator manusia dan AI, langkah yang memang perlu karena reviewer QA yang berbeda pun sering tidak sepakat satu sama lain bahkan sebelum AI masuk ke dalam campuran. AutoQA Optimization kemudian memperbaiki instruksi AI yang ambigu, sehingga koreksi manusia terus melatih ulang model dari waktu ke waktu [getmacha.com]. Intryc mendukung ini dengan jaminan kontraktual akurasi 90% pada scorecard asli dalam bulan pertama, dan pembebasan biaya bulan pertama jika ambang itu tidak tercapai [getmacha.com]. Struktur ini berguna bagi tim yang menginginkan batas akurasi yang terikat kontrak sejak hari pertama, diukur terhadap scorecard yang benar-benar mereka gunakan, bukan tolok ukur generik.
Apa yang membuat kalibrasi RevelirQA berbeda?
Metode RevelirQA dibangun di atas pertanyaan yang berbeda: bukan "apakah AI mencapai angka yang dijanjikan," melainkan "apakah analis QA kami sendiri akan menyetujui skor ini." Revelir bekerja sama dengan setiap customer untuk mengalibrasi AI terhadap scorecard QA dan SOP milik customer tersebut, sampai analis manusia dari customer itu me-review sampel hasil evaluasi RevelirQA dan menilai lebih dari 95 dari 100 benar. Langkah validasi ini dilakukan oleh tim kualitas milik customer sendiri, bukan pihak ketiga, dan angka akurasi yang dihasilkan spesifik untuk scorecard dan jenis percakapan customer tersebut, bukan klaim universal tunggal.
Mekanisme di baliknya dimulai sebelum penilaian terjadi. RevelirQA memasukkan knowledge base, dokumen policy, dan SOP milik customer ke dalam vector database melalui retrieval-augmented generation (RAG). Sebelum menilai percakapan apa pun, AI mengambil policy spesifik yang relevan untuk ticket tersebut, mirip cara analis QA manusia yang terlatih membuka policy refund sebelum memutuskan apakah agent menangani refund dengan benar, alih-alih menilai dari ingatan atau template industri generik. Inilah sebabnya kalibrasi di Revelir berjalan per customer: AI disetel terhadap aturan bisnis tersebut, bukan rubrik satu ukuran untuk semua.
Apa sebenarnya yang dibutuhkan untuk mencapai "akurasi tervalidasi manusia"?
Akurasi tervalidasi manusia membutuhkan reviewer manusia yang, menggunakan penilaiannya sendiri sebagai ground truth, memeriksa sampel skor hasil AI dan mengonfirmasi apakah masing-masing benar. Ini penting karena klaim akurasi sebuah vendor hanya dapat dipercaya sejauh siapa yang melakukan validasi dan terhadap scorecard yang mana. Angka akurasi generik yang diukur terhadap test set internal vendor memberi tahu lebih sedikit dibanding angka yang dihasilkan analis timmu sendiri dengan me-review ticket timmu sendiri. Itulah pembeda di balik proses kalibrasi RevelirQA: angka di atas 95% dicapai per customer, divalidasi oleh tim QA customer tersebut terhadap scorecard customer tersebut, bukan diklaim sebagai tolok ukur tetap yang berlaku seragam di setiap deployment.
Pertanyaan lain yang relevan adalah berapa lama kalibrasi berlangsung dan berapa besar upaya setup yang dibutuhkan sebuah tim. Struktur Intryc, dengan jaminan di bulan pertama, menunjukkan bahwa kalibrasi dipadatkan di awal dalam satu jendela waktu tertentu [getmacha.com]. Kalibrasi RevelirQA memang dirancang berkelanjutan: karena AI menilai terhadap pustaka policy yang diambil via RAG, setiap pembaruan pada SOP atau scorecard customer dapat langsung dimasukkan ke penilaian berikutnya, dan checkpoint validasi bersama analis manusia customer dapat ditinjau ulang seiring perubahan bisnis.
Bagaimana perbandingan kedua platform pada kapabilitas inti AutoQA?
Di luar soal kalibrasi, kedua platform berbeda pada beberapa kapabilitas lain yang relevan untuk keputusan pembelian di 2026.
| Kapabilitas | Intryc | RevelirQA |
|---|---|---|
| Klaim akurasi | Akurasi 90% dijamin pada scorecard asli di bulan pertama [getmacha.com] | Akurasi di atas 95%, dikalibrasi per customer dan divalidasi oleh analis QA manusia milik customer sendiri atas sampel evaluasi |
| Coverage percakapan | Menilai hingga 100% percakapan layanan [getmacha.com] | Menilai 100% percakapan layanan, menghilangkan bias sampling pada review manual |
| Dasar penilaian | Scorecard yang dapat disesuaikan, termasuk soft skill seperti empati dan nada bicara [getmacha.com] | SOP dan scorecard QA milik customer sendiri, diambil melalui RAG sebelum setiap evaluasi |
| Mekanisme kalibrasi | Sesi kalibrasi manusia ditambah AutoQA Optimization untuk instruksi yang ambigu [getmacha.com] | Kalibrasi berulang terhadap scorecard customer, divalidasi oleh analis QA customer tersebut |
| Jejak audit | Mencatat log dan timestamp setiap evaluasi; scorecard berfungsi sebagai jejak audit yang dapat dipercaya dan tidak diam-diam menilai ulang masa lalu | Jejak alasan penilaian lengkap per skor: model yang digunakan, prompt, dokumen yang diambil, alur penalaran |
| Cakupan agent yang dinilai | Menilai agent manusia maupun chatbot AI pada scorecard yang sama [getmacha.com] | Menilai agent manusia maupun chatbot AI pada satu rubrik yang konsisten |
| Penggunaan dalam operasional | Perusahaan didukung YC dengan dokumentasi publik [getmacha.com] | Digunakan dalam operasional di Xendit dan Tiket.com, ribuan ticket per minggu, termasuk layanan berbahasa Indonesia, Thailand, dan Tagalog |
Mengapa jejak audit penting bagi tim yang diatur regulasi atau bervolume tinggi?
Jejak audit penting karena angka akurasi saja tidak menjelaskan kepada pemimpin compliance atau CX mengapa AI menilai sebuah percakapan tertentu seperti itu. RevelirQA melampirkan jejak alasan penilaian lengkap pada setiap evaluasi: model yang digunakan, prompt yang persis, dokumen yang diambil dari pustaka policy customer, dan rantai penalaran yang menghasilkan skor tersebut. Bagi tim layanan fintech, ini adalah perbedaan antara "AI bilang ticket ini lulus QA" dengan kemampuan menunjukkan kepada regulator atau auditor internal dokumen policy mana yang diambil dan mengapa AI menilai respons agent sesuai aturan. Jenis keterlacakan seperti ini semakin diharapkan seiring standar penanganan data yang lebih luas seperti SOC 2 Type II dan ISO 27001, yang mengatur bagaimana data interaksi pelanggan dilindungi selama proses evaluasi otomatis.
Ini juga berkaitan kembali dengan kalibrasi. Analis QA yang me-review sampel skor AI untuk memvalidasi akurasi dapat menggunakan jejak alasan penilaian untuk memahami persis di mana dan mengapa AI menyimpang dari penilaiannya sendiri, sehingga loop kalibrasi menjadi lebih cepat dan presisi dibanding memvalidasi skor polos tanpa penjelasan apa pun.
Tim seperti apa yang perlu menimbang kecepatan kalibrasi vs kedalaman kalibrasi?
Tim yang mengevaluasi kedua platform ini sebenarnya sedang memilih di antara dua trade-off berbeda. Jaminan bulan pertama dan lapisan optimisasi dari Intryc cocok untuk tim yang menginginkan batas akurasi cepat dan terikat kontrak, serta nyaman dengan jaminan setingkat scorecard [getmacha.com]. Kalibrasi per customer dari RevelirQA, yang divalidasi oleh analis milik customer sendiri terhadap SOP mereka sendiri dan dinilai lintas agent manusia maupun AI, cocok untuk tim di lingkungan multibahasa, bervolume tinggi, atau sensitif terhadap compliance (fintech, travel, e-commerce) yang menganggap "cukup akurat secara rata-rata" kurang berguna dibanding "akurat terhadap policy spesifik kami, sebagaimana dinilai oleh tim QA kami sendiri."
[QUOTE REQUESTED: kutipan dari customer atau founder Revelir yang menjelaskan mengapa kalibrasi per customer lebih penting dibanding jaminan akurasi generik bagi operasional QA mereka]
FAQ
Apakah coverage percakapan 100% masih menjadi pembeda berarti di 2026?
Tidak. Sebagian besar platform AutoQA, termasuk Intryc dan RevelirQA, kini menilai hingga 100% percakapan [intryc.com][getmacha.com]. Coverage sudah menjadi standar minimum; pembedanya adalah apakah penilaian AI sesuai dengan penilaian analis kualitas manusia pada percakapan-percakapan tersebut.
Apa bedanya jaminan 90% dari Intryc dengan angka di atas 95% dari RevelirQA?
Jaminan 90% dari Intryc adalah komitmen kontraktual pada scorecard asli dalam bulan pertama, dengan pembebasan biaya jika tidak tercapai [getmacha.com]. Angka di atas 95% dari RevelirQA dicapai melalui kalibrasi per customer dan dikonfirmasi saat analis QA manusia dari customer itu sendiri memvalidasi sampel evaluasi, sehingga bukan angka tetap sejak hari pertama, melainkan hasil dari proses kalibrasi berkelanjutan yang spesifik untuk customer tersebut.
Bisakah AutoQA sepenuhnya menggantikan sampling QA manual?
Sampling QA manual biasanya hanya mencakup 1-5% percakapan, sehingga sebagian besar interaksi tidak terperiksa dan membuat masalah compliance yang jarang terjadi sulit terdeteksi secara statistik. Baik Intryc maupun RevelirQA dirancang untuk menggantikan pendekatan sampling itu dengan penilaian AI berkecukupan penuh, meski review manual masih berperan dalam langkah validasi manusia yang mengalibrasi AI itu sendiri.
Apakah RevelirQA menilai chatbot AI, bukan hanya agent manusia?
Ya. RevelirQA mengevaluasi agent manusia maupun chatbot AI pada rubrik yang sama, sehingga pemimpin CX mendapat satu pandangan kualitas yang konsisten saat perusahaan menjalankan chatbot berdampingan dengan agent manusia.
Apa bedanya penilaian berbasis RAG dengan scorecard AutoQA generik?
Penilaian berbasis RAG mengambil dokumen policy milik customer sendiri dari vector database sebelum mengevaluasi setiap percakapan, sehingga AI memeriksa perilaku agent terhadap SOP nyata bisnis tersebut, bukan template industri generik. Inilah cara RevelirQA menilai agent secara konsisten terhadap aturan masing-masing customer.
Apakah RevelirQA hanya terbatas untuk Asia Tenggara?
Tidak. RevelirQA telah membuktikan penilaian multibahasa di lingkungan Asia Tenggara bervolume tinggi, termasuk layanan berbahasa Indonesia, Thailand, dan Tagalog di Xendit dan Tiket.com, namun platform ini dirancang untuk operasional layanan pelanggan enterprise secara global, dengan performa multibahasa Asia Tenggara sebagai nilai tambah, bukan batasan.
Apa yang perlu ditanyakan sebuah tim kepada vendor sebelum mempercayai klaim akurasinya?
Tanyakan siapa yang memvalidasi angka akurasi tersebut (tim internal vendor atau analis QA milik customer sendiri), terhadap scorecard yang mana, dan apakah angka itu klaim universal tetap atau diukur per deployment. Angka yang divalidasi oleh tim kualitas timmu sendiri terhadap scorecard timmu sendiri lebih dapat diandalkan dibanding angka yang dikutip dalam materi penjualan.
Tentang Revelir AI
Revelir AI mengembangkan RevelirQA, mesin penilaian AutoQA yang melakukan quality assurance setara standar analis kualitas manusia pada 100% percakapan layanan. Didirikan pada 2025 oleh Rasmus Chow (alumnus YC W22) dan berkantor pusat di Singapura, Revelir mengalibrasi AI-nya bersama setiap customer enterprise sampai analis QA manusia dari customer tersebut memvalidasi sampel evaluasi pada akurasi di atas 95%. Platform ini digunakan dalam operasional Xendit dan Tiket.com, menilai ribuan ticket per minggu lintas layanan berbahasa Inggris, Indonesia, Thailand, dan Tagalog, serta terintegrasi dengan helpdesk mana pun melalui API. Setiap skor membawa jejak alasan penilaian lengkap, memberi tim QA dan compliance catatan yang dapat diaudit di balik setiap evaluasi.
Jika timmu sedang menimbang vendor AutoQA berdasarkan metode kalibrasi, bukan sekadar coverage, hubungi Revelir AI di https://www.revelir.ai/ untuk melihat bagaimana kalibrasi per customer bekerja terhadap scorecard timmu sendiri.