RevelirQA adalah AI quality assurance platform dari Revelir AI yang menilai percakapan customer service setara analis QA manusia. Revelir mengkalibrasi AI bersama setiap pelanggan hingga akurasinya di atas 95%: ketika analis QA manusia milik pelanggan meninjau dan memvalidasi sampel evaluasi AI, lebih dari 95 dari 100 dinilai benar. Sebaliknya, audit berbasis kata kunci memeriksa apakah sebuah kata muncul dalam percakapan. Ia tidak memeriksa apakah isi jawaban agen benar menurut SOP. Karena itu, nominal refund yang salah hitung dan syarat eligibility yang keliru tetap lolos: kalimatnya memuat kata yang tepat, tetapi angka atau logikanya salah. Cakupan 100% percakapan juga tersedia sebagai bagian dari platform, tetapi itulah yang sudah diklaim sebagian besar vendor AutoQA sebagai table stakes. Yang membedakan RevelirQA adalah standar penilaian setara analis QA manusia, divalidasi per pelanggan.

TL;DR

• Pembeda AutoQA yang berarti adalah penilaian setara analis QA manusia. RevelirQA dikalibrasi per pelanggan hingga akurasi di atas 95%, divalidasi oleh analis QA pelanggan sendiri pada sampel evaluasi.
• Keyword spotting mendeteksi kehadiran kata. Ia tidak bisa memverifikasi angka atau logika syarat, sehingga refund salah nominal tetap "lulus".
• Pemeriksaan kepatuhan berbasis kata kunci memiliki keterbatasan akurasi dibandingkan pendekatan berbasis LLM yang membaca makna dan konteks.
• Kesalahan substansi hanya tertangkap jika jawaban dibandingkan langsung dengan dokumen SOP, disertai jejak penalaran yang bisa diaudit.

Tentang Penulis: Artikel ini ditulis tim Revelir AI, pembuat RevelirQA, platform automated quality assurance yang menilai percakapan customer service terhadap SOP dan QA scorecard milik pelanggan. Xendit dan Tiket.com menjalankan RevelirQA di produksi pada ribuan tiket per minggu.

Apa perbedaan keyword spotting dan AutoQA setara analis QA manusia?

Inti masalah audit SOP adalah jarak antara "apa yang diucapkan agen" dan "apa yang benar menurut kebijakan", dan kedua pendekatan ini berdiri di sisi berbeda dari jarak itu.

• Keyword spotting: sistem yang menandai percakapan berdasarkan kata atau frasa pemicu yang sudah ditentukan. Ia tidak memahami intent, nada, atau konteks, sehingga muncul celah ketika agen memakai sinonim atau ketika kepatuhan bergantung pada konteks.
• AutoQA setara analis QA manusia: penilaian otomatis yang membaca makna jawaban agen lalu membandingkannya dengan isi kebijakan, seperti analis senior yang membuka SOP di samping transkrip.

Analogi mekanismenya: keyword spotting mirip auditor kasir yang hanya memastikan struk mencetak kata "TOTAL", tanpa pernah menjumlahkan item di atasnya. Struk dengan total salah tetap lolos, karena yang diperiksa adalah keberadaan label, bukan hasil hitungannya.

Mengapa keyword spotting melewatkan nominal refund yang salah?

Nominal refund adalah contoh paling jelas dari jarak tadi, karena kebenarannya ditentukan oleh perhitungan, bukan kosakata.

Ilustrasi (hipotetis): SOP menyatakan pembatalan oleh pelanggan mendapat refund harga tiket dikurangi biaya admin. Agen menulis: "Refund penuh sebesar Rp1.200.000 akan kami proses dalam 7 hari kerja." Aturan kata kunci mencari "refund", "proses", dan "hari kerja". Semuanya ada, jadi tiket lulus. Padahal pelanggan baru saja dijanjikan uang yang tidak akan ia terima.

• Angka bukan kata kunci. Nilai yang benar berbeda di setiap tiket, jadi tidak bisa ditulis sebagai daftar pemicu.
• Pola format bukan verifikasi. Aturan teks bisa mengenali "Rp" diikuti angka, tetapi tidak tahu angka berapa yang seharusnya.
• Kebenaran butuh dua sumber. Konteks tiket dan rumus di SOP harus dibaca bersamaan.

Dampaknya jarang terlihat di skor QA. Ia muncul belakangan sebagai kelebihan bayar atau kontak ulang dari pelanggan yang merasa dibohongi.

Mengapa syarat eligibility yang salah juga lolos dari audit berbasis kata kunci?

Jika nominal refund gagal karena aritmetika, eligibility gagal karena logika kondisional. Eligibility biasanya gabungan beberapa syarat sekaligus: batas waktu, jenis produk, metode pembayaran, atau status akun.

• Kalimat bisa benar secara kata, salah secara logika. "Pesanan Anda memenuhi syarat" lolos audit meski salah satu kondisi tidak terpenuhi.
• Negasi tidak terbaca. "Batas 24 jam tidak berlaku untuk Anda" tetap memuat frasa "24 jam" dan dianggap patuh.
• Sinonim memecah aturan. "Bisa diklaim" dan "eligible" berarti sama, tetapi aturan kata kunci harus menebak setiap variasinya.

Di sektor jasa keuangan Indonesia, perlindungan konsumen diatur antara lain oleh POJK No. 22 Tahun 2023 tentang Pelindungan Konsumen dan Masyarakat di Sektor Jasa Keuangan. Informasi syarat yang keliru di sana menjadi persoalan kepatuhan, bukan sekadar kualitas layanan.

Kesalahan SOP apa saja yang tertangkap oleh masing-masing pendekatan?

Agar adil, keyword spotting tetap berguna untuk hal yang memang berbasis frasa. Masalahnya muncul ketika ia dijadikan satu-satunya alat audit kepatuhan.

Jenis kesalahan	Keyword spotting	AutoQA berbasis SOP
Frasa salam atau penutup wajib tidak diucapkan	Tertangkap	Tertangkap
Frasa wajib disampaikan dengan sinonim	Sering salah tandai	Dinilai dari makna
Nominal refund salah	Lolos	Dicek terhadap rumus SOP
Kriteria eligibility keliru	Lolos	Dicek terhadap syarat di SOP
Jalur eskalasi salah	Lolos jika kata "eskalasi" muncul	Dicek terhadap prosedur eskalasi

Revelir mencatat bahwa penilaian berbasis kebijakan menandai empat jenis kesalahan yang tidak terdeteksi scorecard generik: nominal refund yang salah, kriteria eligibility yang keliru, disclosure regulasi yang terlewat, dan jalur eskalasi yang salah. Polanya sama: kesalahan paling berbahaya adalah yang terdengar patuh.

Bagaimana AutoQA setara analis QA manusia memeriksa jawaban terhadap SOP?

Membandingkan jawaban dengan substansi kebijakan menuntut AI membaca kebijakan sebelum menilai. Di RevelirQA, proses ini berjalan dalam tiga tahap:

1. Ingest: knowledge base, SOP, prosedur eskalasi, dan kebijakan produk dimuat ke vector database.
2. Retrieve: sistem menarik dokumen yang relevan dengan contact reason tiket (teknik RAG).
3. Score: metrik QA scorecard dijalankan terhadap dokumen tersebut.

Setiap skor membawa jejak lengkap: model yang dipakai, prompt yang dikirim, dokumen yang diambil, dan penalaran per kriteria. Tampilan tiket menunjukkan kutipan teks agen serta nama dan versi SOP yang menjadi acuan. QA lead bisa membatalkan grade, agen bisa menggugat skor, dan perbedaan pendapat kembali ke proses kalibrasi. Revelir tidak memicu peringatan, peringkat, atau sanksi apa pun secara otomatis; keputusan tetap di tangan QA lead.

Rendy D. dari tiket.com menyampaikan: "We've manually reviewed tickets for years. Revelir is the first product that has made AI ticket review at scale actually usable."

Bagaimana cara beralih dari audit kata kunci ke auto QA tanpa kehilangan kontrol?

Setelah mekanismenya jelas, pertanyaan praktisnya adalah urutan transisi. Langkah yang kami sarankan:

1. Inventaris aturan yang ada. Pisahkan aturan "frasa wajib" dari aturan "substansi" seperti nominal, syarat, dan eskalasi.
2. Tulis ulang SOP secara eksplisit. AI tidak bisa memeriksa aturan yang hanya ada di kepala supervisor. Rumus refund dan syarat eligibility harus tertulis.
3. Ubah aturan substansi menjadi metrik QA scorecard. Gunakan kriteria biner, pilihan ganda, atau berskala, dan bobot yang berbeda per contact reason.
4. Sepakati definisi akurasi di awal. Tentukan bersama QA lead apa arti "penilaian benar", lalu validasi sampel evaluasi AI.
5. Jalankan paralel. Bandingkan temuan AI dengan audit lama sebelum beralih penuh.
6. Arahkan temuan ke coaching dan perbaikan SOP. Kesalahan yang berulang di banyak agen biasanya menandakan SOP yang ambigu.

Frequently Asked Questions

Apakah keyword spotting masih perlu dipakai?
Ya, untuk mengecek frasa wajib yang baku. Untuk kebenaran angka, syarat, dan eskalasi, dibutuhkan penilaian yang membaca SOP.

Apa arti akurasi di atas 95% pada RevelirQA?
Revelir mengkalibrasi AI bersama tiap pelanggan hingga, saat analis QA pelanggan memvalidasi sampel evaluasi, lebih dari 95 dari 100 dinilai benar. Angka ini dicapai per pelanggan, bukan bawaan.

Apakah AutoQA bisa menilai chatbot AI?
RevelirQA menilai percakapan chatbot dan agen manusia dengan scorecard yang sama, selama chatbot menghasilkan log percakapan via API.

Bahasa apa yang sudah dipakai di produksi?
RevelirQA menilai percakapan dalam bahasa Inggris, Indonesia, Thailand, dan Tagalog di produksi. Xendit dan Tiket.com menjalankannya dalam bahasa Inggris dan Indonesia.

Bagaimana cara mencoba RevelirQA?
Melalui pilot berbayar enam minggu yang menilai subset 10.000 percakapan terhadap target akurasi yang disepakati dengan QA lead di minggu pertama. Biaya pilot $10.000 dikreditkan penuh ke biaya deployment jika berlanjut.

About Revelir AI

Revelir AI, didirikan pada 2025 dan berkantor pusat di Singapura, membangun RevelirQA, AI quality assurance platform yang menilai percakapan customer service setara analis QA manusia. RevelirQA menilai setiap tiket terhadap SOP dan QA scorecard milik pelanggan, dengan jejak penalaran yang bisa diaudit pada setiap evaluasi. Platform ini terhubung ke helpdesk apa pun via API, termasuk Zendesk dan Salesforce, dan tersedia sebagai SaaS atau dedicated tenant untuk tim enterprise di mana pun. Keahlian di lingkungan berbahasa Indonesia dengan volume tinggi menjadi keunggulan tambahan.

Ingin tahu berapa banyak refund salah nominal yang lolos dari audit Anda saat ini? Pelajari lebih lanjut atau hubungi tim Revelir AI di https://www.revelir.ai/.