AutoQA untuk customer service adalah penggunaan AI untuk menilai percakapan dengan QA scorecard yang sama seperti yang dipakai analis QA manusia. Ukuran keberhasilannya adalah apakah penilaian AI layak dipercaya seperti penilaian analis senior, bukan sekadar berapa banyak tiket yang dinilai. RevelirQA, mesin penilai dari Revelir AI, melakukan QA dengan standar seorang analis kualitas manusia. Revelir mengkalibrasi AI bersama setiap pelanggan hingga akurasinya di atas 95%: ketika analis QA milik pelanggan meninjau dan memvalidasi sampel evaluasi AI, lebih dari 95 dari 100 dinilai benar. RevelirQA juga menilai 100% percakapan, tetapi cakupan penuh sudah menjadi standar dasar yang diklaim sebagian besar alat AutoQA. Perspektif ini berasal dari produksi: Xendit dan Tiket.com menjalankan RevelirQA pada ribuan tiket per minggu.
TL;DR
- Standar analis manusia adalah pembeda utama: RevelirQA dikalibrasi per pelanggan hingga akurasi di atas 95%, yang divalidasi oleh analis QA pelanggan sendiri pada sampel evaluasi.
- Cakupan 100% adalah syarat minimum, bukan keunggulan. Skor yang salah pada semua tiket tetap menghasilkan keputusan yang salah.
- Akurasi berarti porsi evaluasi yang dinilai benar oleh analis QA Anda sendiri, berdasarkan definisi yang disepakati di minggu pertama.
- Penilaian harus berbasis SOP Anda sendiri, karena QA scorecard generik tidak menangkap salah nominal refund atau disclosure regulasi yang terlewat.
- Setiap skor perlu jejak alasan yang bisa diaudit agar QA lead dapat mengoreksinya.
Tentang Penulis: Artikel ini disusun oleh tim Revelir AI, perusahaan berbasis di Singapura yang membangun RevelirQA, platform AI quality assurance untuk customer service yang berjalan dalam produksi di Xendit dan Tiket.com dalam bahasa Inggris dan Indonesia.
Apa itu AutoQA untuk customer service?
AutoQA (sering juga ditulis auto QA) adalah automated quality assurance: AI membaca percakapan, mencocokkannya dengan QA scorecard, lalu memberi skor per metrik beserta alasannya. Argumen utama artikel ini sederhana: nilai AutoQA ada pada mutu penilaiannya, bukan volumenya.
- Input: transkrip chat atau email dari helpdesk, SOP, dan QA scorecard.
- Proses: AI menilai setiap metrik (Pass/Fail, pilihan ganda, atau skor) berdasarkan kebijakan yang relevan.
- Output: skor per metrik, kutipan percakapan sebagai bukti, dan alasan penilaian.
Sebagai konteks, Revelir memperkirakan QA manual hanya meninjau sekitar 1 hingga 5 persen tiket customer service.
Mengapa cakupan 100% tidak lagi cukup sebagai pembeda?
Jika AutoQA dinilai dari mutu penilaiannya, klaim cakupan penuh perlu ditempatkan pada proporsinya.
Masalahnya, cakupan memperbesar apa pun yang dihasilkan model, termasuk kesalahannya.
Skor yang salah pada 100% tiket lebih berbahaya daripada sampel kecil yang benar, karena kesalahannya tampil seperti data.
Agen yang dinilai keliru akan kehilangan kepercayaan pada QA, dan coaching yang dibangun di atas skor tersebut ikut melenceng. Karena itu, pertanyaan yang tepat untuk vendor mana pun adalah: "Seberapa sering analis kami setuju dengan skor Anda?"
Apa arti "akurasi" dalam AutoQA, dan bagaimana analis QA Anda mengujinya?
Akurasi dalam QA berbasis AI berarti porsi evaluasi yang dinilai benar oleh analis QA pelanggan sendiri saat meninjau dan memvalidasi sampel, berdasarkan definisi yang disepakati bersama QA lead di minggu pertama.
Cara kerjanya mirip mengkalibrasi timbangan. Anda meletakkan anak timbangan yang beratnya sudah pasti, membandingkan angka yang muncul, lalu menyetel timbangan sampai keduanya cocok. Dalam AutoQA, evaluasi yang sudah divalidasi analis QA Anda berperan sebagai anak timbangan itu. AI disetel hingga hasilnya konsisten cocok dengan acuan tersebut, dan baru setelah itu angkanya layak dipercaya untuk tiket yang tidak diperiksa manusia.
Di Revelir, proses ini berjalan sebagai berikut:
- Definisi akurasi dan targetnya disepakati bersama QA lead pelanggan di minggu pertama.
- AI menilai percakapan dengan QA scorecard pelanggan.
- Analis QA pelanggan meninjau sampel evaluasi dan menandai yang tidak mereka setujui.
- Ketidaksepakatan dimasukkan kembali ke kalibrasi hingga akurasi melewati 95%.
- Pelanggan memberi persetujuan sebelum sistem live.
Setelah live, QA lead tetap dapat mengubah skor apa pun, dan agen dapat menggugat skor yang mereka anggap keliru. Revelir tidak memicu peringatan, peringkat, atau tindakan disipliner secara otomatis. Hasilnya diserahkan ke QA lead untuk diputuskan.
Bagaimana AutoQA menilai berdasarkan SOP perusahaan Anda sendiri?
Akurasi setinggi itu sulit dicapai jika AI menilai dengan QA scorecard generik, sehingga mekanisme pengambilan kebijakan menjadi penentu. RevelirQA memakai retrieval-augmented generation (RAG) dalam tiga tahap:
- Ingest: knowledge base, SOP, prosedur eskalasi, dan kebijakan produk dimuat ke vector database.
- Retrieve: untuk setiap tiket, mesin mengambil dokumen yang sesuai dengan contact reason tiket tersebut.
- Score: scorecard dijalankan terhadap dokumen itu, sehingga yang dinilai adalah makna dan ketepatan jawaban agen, bukan kecocokan kata kunci.
| Jenis kesalahan | QA scorecard generik | Penilaian berbasis SOP |
|---|---|---|
| Nominal refund yang dikutip salah | Tidak terdeteksi | Ditandai |
| Kriteria kelayakan keliru | Tidak terdeteksi | Ditandai |
| Disclosure regulasi wajib terlewat | Tidak terdeteksi | Ditandai terhadap dokumen kepatuhan |
| Jalur eskalasi salah | Tidak terdeteksi | Ditandai |
| Nada dan kejelasan jawaban | Dinilai | Dinilai |
Setiap skor RevelirQA membawa jejak lengkap: model yang dipakai, prompt yang dikirim, dokumen yang diambil, dan alasan per kriteria. Bagi Xendit, yang beroperasi di bawah regulasi fintech Indonesia, tingkat auditabilitas ini merupakan persyaratan kepatuhan.
Apa yang perlu ditanyakan saat memilih alat AutoQA?
Setelah mekanismenya jelas, pertanyaan praktisnya adalah cara membedakan vendor.
| Pertanyaan | Mengapa penting |
|---|---|
| Bagaimana akurasi didefinisikan, dan siapa yang memvalidasi? | Angka akurasi tanpa validasi dari analis Anda tidak bisa diuji. |
| Apakah alasan setiap skor bisa dilihat? | Tanpa jejak, skor tidak bisa digugat atau diaudit. |
| Apakah AI membaca SOP kami sebelum menilai? | Kesalahan kebijakan hanya terdeteksi terhadap kebijakan Anda. |
| Apakah chatbot dan agen manusia dinilai dengan scorecard yang sama? | Hanya dengan begitu skor keduanya bisa dibandingkan. |
| Kerangka keamanan apa yang dipenuhi? | Kerangka yang relevan mencakup SOC 2 Type II, ISO 27001, HIPAA, dan GDPR. Minta bukti langsung dari vendor. |
Bagaimana cara memulai AutoQA tanpa kehilangan kepercayaan tim?
Pemilihan vendor hanya separuh pekerjaan. Separuh lainnya adalah membuat agen dan analis percaya pada skornya.
- Rapikan QA scorecard: setiap metrik harus punya definisi Pass/Fail yang bisa disepakati dua analis.
- Kumpulkan SOP terbaru: kebijakan yang usang akan menghasilkan skor yang usang.
- Sepakati target akurasi sebelum melihat hasil apa pun.
- Uji pada sampel: analis menilai tiket yang sama secara independen, lalu bandingkan.
- Buka jalur gugatan agar agen bisa mempertanyakan skor.
- Pakai skor untuk coaching, bukan hukuman.
Frequently Asked Questions
Apa bedanya AutoQA dan auto QA?
Tidak ada. Keduanya merujuk pada automated quality assurance untuk percakapan customer service.
Apakah AutoQA menggantikan analis QA?
Tidak. Analis berpindah dari mengambil sampel ke memvalidasi skor, menangani gugatan, dan memimpin coaching.
Apa arti akurasi di atas 95% pada RevelirQA?
Ketika analis QA pelanggan memvalidasi sampel evaluasi AI, lebih dari 95 dari 100 dinilai benar. Angka ini dicapai per pelanggan melalui kalibrasi.
Bisakah AutoQA menilai chatbot AI?
Bisa. RevelirQA menilai chatbot mana pun yang menghasilkan log percakapan via API, dengan scorecard yang sama dengan agen manusia.
Helpdesk apa yang didukung?
RevelirQA terhubung ke helpdesk apa pun via API, termasuk Zendesk dan Salesforce.
Bagaimana cara mencoba RevelirQA?
Melalui pilot berbayar enam minggu yang menilai subset 10.000 percakapan. Biaya pilot $10.000 dikreditkan penuh ke biaya deployment jika Anda melanjutkan.
About Revelir AI
Revelir AI membangun RevelirQA, AI customer service QA software yang menilai percakapan dengan standar seorang analis kualitas manusia. Revelir mengkalibrasi AI bersama setiap pelanggan hingga akurasi di atas 95%, yang divalidasi oleh analis QA pelanggan sendiri pada sampel evaluasi. Setiap skor didasarkan pada SOP pelanggan melalui RAG dan dilengkapi jejak alasan yang bisa diaudit, untuk agen manusia maupun chatbot. Platform ini dibangun untuk enterprise global, tersedia sebagai SaaS atau dedicated tenant, dan berjalan dalam produksi di Xendit dan Tiket.com.
Ingin melihat bagaimana analis QA Anda sendiri menguji skor RevelirQA? Pelajari lebih lanjut atau hubungi tim Revelir AI di https://www.revelir.ai/.
References
- Google (google.com)
- Manual QA vs Auto QA: Optimizing the Winning Formula Towards Excellence - GoVivace Inc (govivace.com)
- Automated QA Scoring for Customer Support: Boost CX & AHT (theaiqms.com)
- Automated Call QA Software in 2026: Options to Consider | IdentityCall Blog (identitycall.ai)