Menilai Kualitas Percakapan Customer Service Bahasa Indonesia Lewat Contoh Pass dan Fail per Metrik

Published on:
November 13, 2026

RevelirQA, mesin AutoQA dari Revelir AI, menilai percakapan customer service berbahasa Indonesia setara standar seorang analis QA manusia. Revelir mengkalibrasi AI bersama setiap pelanggan sampai analis QA manusia milik pelanggan memvalidasi sampel evaluasinya dan menilai lebih dari 95 dari 100 evaluasi itu benar. Dari pekerjaan kalibrasi itu, satu pelajaran paling konsisten adalah bahwa kualitas percakapan paling andal dinilai dengan QA scorecard berisi metrik Pass/Fail. Setiap metrik dilengkapi contoh percakapan yang lulus dan yang gagal. Cakupan 100% percakapan tetap penting, tetapi hampir semua alat auto QA sudah mengklaimnya. Pembedanya adalah penilaian setara standar analis QA manusia, dan itu bergantung pada seberapa jelas batas antara Pass dan Fail ditulis.

TL;DR

  • RevelirQA menilai percakapan setara standar analis QA manusia. AI-nya dikalibrasi per pelanggan hingga akurasi di atas 95%, yaitu lebih dari 95 dari 100 evaluasi dinilai benar saat analis QA pelanggan sendiri memvalidasi sampelnya. Cakupan 100% adalah standar dasar.
  • Metrik Pass/Fail dengan contoh borderline membuat dua penilai, manusia atau AI, sampai pada keputusan yang sama.
  • Untuk bahasa Indonesia, yang dinilai adalah konsistensi register, bukan tingkat formalitas.
  • Kalimat empati tanpa langkah berikutnya sebaiknya dihitung Fail.
  • Fail yang berulang di banyak agen sering menandakan celah SOP, bukan kesalahan individu.

Tentang Penulis: Artikel ini ditulis oleh tim Revelir AI, pembuat RevelirQA. Platform ini berjalan dalam deployment produksi di Xendit dan Tiket.com, yang melayani pelanggan dalam bahasa Indonesia dan Inggris pada volume tinggi. Setiap QA scorecard yang kami bangun menampilkan Pass atau Fail per metrik beserta bukti dari percakapan dan SOP.

Mengapa metrik Pass/Fail dengan contoh lebih andal daripada skor 1-5?

Metrik Pass/Fail lebih andal karena memaksa tim menulis perilaku yang bisa diamati. Skala 1-5 meminta penilai menaruh percakapan di sebuah garis tanpa titik acuan bersama. Analis A memberi nilai 3 untuk empati karena agen sopan. Analis B memberi 4 karena pelanggan tidak mengeluh. Keduanya masuk akal, tetapi tidak ada yang bisa diaudit.

Metrik biner bekerja seperti ujian praktik SIM. Penguji tidak menilai apakah peserta "cukup lancar". Ia melihat apakah roda menyentuh garis. Karena kriterianya bisa diamati, dua penguji yang berbeda hampir selalu sepakat. Contoh Pass dan Fail berfungsi sebagai garis itu.

  • Contoh borderline lebih berharga daripada contoh ideal, karena perdebatan antarpenilai selalu terjadi di batas.
  • Skor gabungan tetap bisa dihitung dari bobot per metrik, jadi tidak ada informasi yang hilang.

Seperti apa contoh Pass dan Fail untuk tiap metrik?

Dengan prinsip di atas, berikut contoh ilustratif (bukan data pelanggan). Metrik industri seperti CSAT, NPS, FCR, dan AHT mengukur hasil. Metrik di bawah mengukur perilaku di dalam percakapan, dan perilaku itulah yang bisa langsung dilatih.

Metrik Contoh Pass Contoh Fail Batasnya
Konfirmasi masalah "Halo Kak Dina, saya cek dulu status refund pesanan yang Kakak sebutkan, ya." "Ada yang bisa dibantu?" padahal pelanggan sudah menjelaskan masalahnya Agen menunjukkan sudah membaca pesan pertama
Konsistensi register Memakai "Kakak" dari awal sampai akhir tiket Berpindah dari "Anda" ke "kamu" lalu "Bapak" dalam satu tiket Konsistensi, bukan tingkat formal
Empati dengan tindakan "Maaf ya Kak, pasti repot menunggu. Saya sudah teruskan ke tim pembayaran dan akan kabari besok siang." "Mohon maaf atas ketidaknyamanannya," lalu chat ditutup Empati tanpa langkah berikutnya dihitung Fail
Akurasi kebijakan Nominal dan tenggat refund sesuai SOP versi terbaru Menjanjikan refund penuh untuk kasus yang menurut SOP hanya berhak refund sebagian Diukur terhadap dokumen kebijakan, bukan kesan
Eskalasi Dugaan transaksi tidak sah diteruskan lewat jalur yang ditetapkan SOP Menyarankan pelanggan "coba lagi nanti" Jalur eskalasi sesuai SOP
Penutupan Merangkum solusi dan menanyakan apakah ada hal lain Menutup tiket tanpa konfirmasi saat masalah belum selesai Pelanggan tahu status akhir masalahnya

Satu catatan soal empati. Tanpa langkah konkret sesudahnya, kalimat itu berubah menjadi formalitas yang mudah dikenali pelanggan.

Apa yang membedakan penilaian bahasa Indonesia dari scorecard berbahasa Inggris?

Tabel di atas hanya berguna jika metriknya ditulis untuk bahasa Indonesia, bukan diterjemahkan dari scorecard berbahasa Inggris. Dalam bahasa Indonesia, register dan kata ganti bergeser mengikuti jarak sosial, misalnya "Anda", "Bapak/Ibu", atau "Kak". Budayanya juga menghargai komunikasi tidak langsung. Scorecard yang lahir dari bahasa Inggris bisa keliru menghukum gaya ini sebagai kaku atau bertele-tele.

Posisi kami jelas: nilai kesesuaian dan konsistensi, bukan formalitas.

  • Pass: register sesuai panduan suara brand dan dipakai konsisten sepanjang tiket.
  • Fail: register berganti di tengah percakapan, atau terlalu santai untuk konteks sensitif seperti dugaan penipuan.
  • Netral: campur kode yang wajar ("refund", "update") tidak perlu dihukum bila brand juga memakainya.

Untuk fintech, ada lapisan tambahan. POJK 22/2023 dari OJK mengatur tenggat penanganan pengaduan. Menurut FAQ POJK 22 Tahun 2023 dari OJK, pengaduan tertulis wajib diselesaikan paling lama 10 hari kerja sejak dokumen diterima lengkap, dan dapat diperpanjang 10 hari kerja. Karena itu, kebenaran informasi proses pengaduan yang disampaikan agen layak menjadi metrik tersendiri.

Bagaimana cara menulis contoh Pass dan Fail yang bisa dipakai untuk kalibrasi?

Setelah metrik dan register jelas, pekerjaan berikutnya adalah membuat contoh yang membuat manusia dan AI sepakat. Berikut langkah yang kami pakai:

  1. Satu perilaku per metrik. "Ramah dan solutif" sebenarnya dua metrik.
  2. Ambil dari tiket nyata. Percakapan asli memuat typo, singkatan, dan emosi yang tidak muncul di contoh karangan.
  3. Tulis minimal satu kasus borderline untuk setiap metrik, lengkap dengan alasan mengapa kasus itu jatuh di Pass atau Fail.
  4. Tautkan metrik kebijakan ke bagian SOP beserta versinya. Di RevelirQA, setiap penilaian menampilkan kutipan percakapan dan dokumen yang dirujuk, misalnya "Contact Handling SOP v2".
  5. Minta dua analis menilai sampel yang sama tanpa saling melihat, lalu jadikan setiap ketidaksepakatan sebagai contoh baru.
  6. Ulangi sampai QA lead menyetujui hasilnya. Di Revelir, ketidaksepakatan atas skor masuk kembali ke kalibrasi.

Kapan Fail sebaiknya tidak dibebankan ke agen?

Kalibrasi juga mengungkap pola yang sering terlewat: tidak semua Fail adalah kesalahan agen. Jika banyak agen gagal di metrik akurasi kebijakan untuk alasan kontak yang sama, kemungkinan besar SOP-nya ambigu atau basis pengetahuannya sudah usang. Karena itu, baca hasil QA per alasan kontak, bukan hanya per agen. RevelirQA tidak memicu peringatan atau sanksi otomatis. Hasilnya diserahkan ke QA lead untuk diputuskan.

Frequently Asked Questions

Apa itu AutoQA?
AutoQA atau auto QA adalah automated quality assurance, yaitu penilaian percakapan customer service oleh AI berdasarkan QA scorecard. Pendekatan ini menggantikan peninjauan manual atas sampel kecil tiket.

Berapa jumlah metrik yang ideal dalam satu QA scorecard?
Tidak ada angka baku. Prinsipnya, setiap metrik mengukur satu perilaku yang bisa diamati, dan bobotnya bisa dibedakan per jenis kontak.

Apakah AI bisa menilai bahasa Indonesia sebaik analis manusia?
Bisa, asalkan dikalibrasi. RevelirQA dikalibrasi per pelanggan sampai lebih dari 95 dari 100 evaluasi dinilai benar oleh analis QA pelanggan yang memvalidasi sampelnya.

Apakah Pass/Fail terlalu kaku untuk menilai empati?
Tidak, selama definisinya berbasis perilaku: agen mengakui dampak masalah lalu menyebut langkah berikutnya.

Bisakah chatbot dinilai dengan scorecard yang sama?
Bisa. RevelirQA memakai QA scorecard yang sama untuk agen manusia dan chatbot AI, selama log percakapannya tersedia via API.

Bagaimana agen bisa membantah skor?
Skor yang baik selalu disertai alasan, kutipan, dan dokumen rujukan. Dengan begitu, agen bisa mengajukan keberatan dan QA lead bisa mengubah nilainya.

About Revelir AI

Revelir AI adalah perusahaan yang didirikan pada 2025 dan berkantor pusat di Singapura. Perusahaan ini membangun RevelirQA, AI customer service QA software untuk tim enterprise di berbagai pasar. RevelirQA menarik tiket langsung dari helpdesk seperti Zendesk dan Salesforce via API, lalu mengambil SOP pelanggan lewat RAG. Setelah itu, setiap metrik dinilai dengan jejak audit lengkap: model, prompt, dokumen yang diambil, dan alasan penilaian. Rendy D. dari tiket.com mengatakan: "We've manually reviewed tickets for years. Revelir is the first product that has made AI ticket review at scale actually usable."

Ingin melihat Pass dan Fail per metrik pada percakapan tim Anda sendiri? Pelajari lebih lanjut atau hubungi tim Revelir AI di https://www.revelir.ai/.

References

  1. Client Challenge (google.com)