Tools QA customer service yang benar-benar mendukung Bahasa Indonesia adalah tools yang bisa menilai percakapan berbahasa Indonesia setepat seorang quality analyst manusia. Antarmuka berbahasa Indonesia saja tidak cukup. Inilah standar yang dipakai Revelir AI. RevelirQA menjalankan AutoQA dengan standar quality analyst manusia. Setiap pelanggan dikalibrasi hingga akurasinya di atas 95%, yang berarti ketika QA analyst milik pelanggan sendiri memeriksa dan memvalidasi sampel evaluasi AI, lebih dari 95 dari 100 dinilai benar. RevelirQA berjalan di produksi untuk Xendit dan Tiket.com, pada ribuan tiket per minggu dalam Bahasa Indonesia dan Inggris. Menilai 100% percakapan tetap penting, tetapi sebagian besar tools auto QA sudah mengklaim hal itu. Pembedanya ada pada kualitas penilaian.

TL;DR

• RevelirQA menilai percakapan dengan standar quality analyst manusia. Kalibrasinya dilakukan per pelanggan hingga akurasi di atas 95%, divalidasi oleh QA analyst pelanggan pada sampel evaluasi.
• Menu lokal hanya berarti antarmukanya sudah diterjemahkan. Scoring lokal berarti AI-nya paham percakapan Indonesia. Keduanya sering tertukar dalam demo.
• Percakapan Indonesia sulit dinilai karena campur kode, singkatan, ejaan tidak baku, dan imbuhan yang mengubah bentuk kata.
• Uji vendor dengan tiket asli Anda. Bandingkan hasilnya per metrik dengan penilaian QA analyst Anda, lalu baca alasan di balik setiap skor.
• Menilai 100% percakapan sudah menjadi standar dasar di industri, sehingga tidak bisa dijadikan alasan utama memilih tools.

Tentang Penulis: Artikel ini ditulis oleh tim Revelir AI. Tim ini membangun RevelirQA, AI customer service QA software yang menilai percakapan berbahasa Indonesia dan Inggris di lingkungan produksi bervolume tinggi untuk perusahaan seperti Xendit dan Tiket.com.

Apa bedanya tools QA "berbahasa Indonesia" dengan tools yang benar-benar bisa menilai percakapan Indonesia?

Menu lokal adalah urusan terjemahan, sedangkan scoring lokal adalah urusan pemahaman. Hampir semua kebingungan saat memilih tools berakar dari dua hal ini. Menerjemahkan label, tombol, dan laporan adalah pekerjaan lokalisasi perangkat lunak yang biasa dikerjakan jasa penerjemah [ptsgi.com]. Scoring lokal menuntut lebih banyak. AI harus bisa membaca "udh sy transfer td pagi kak, kok blm masuk?" lalu memutuskan apakah jawaban agen sudah sesuai SOP.

Ada juga jebakan istilah. Kata kunci "tools QA" di pencarian berbahasa Indonesia sering mengarah ke alat pengujian perangkat lunak, yaitu alat untuk mencari bug dan regresi pada kode [clickup.com][google.com]. Kategori itu berbeda dari automated quality assurance untuk percakapan customer service.

Aspek	Menu lokal	Scoring lokal
Yang dilokalkan	Label, tombol, laporan	Cara AI membaca dan menilai percakapan
Cara membuktikan	Cukup lihat demo	Jalankan pada tiket asli Anda
Kegagalan khas	Skor tampil rapi dalam Bahasa Indonesia, tetapi alasannya salah membaca konteks	Butuh kalibrasi awal dengan tim QA Anda
Yang memvalidasi	Tim produk vendor	QA analyst Anda sendiri

Kenapa percakapan customer service Indonesia sulit dinilai oleh AI?

Jarak antara menu lokal dan scoring lokal paling terasa di sini. Bahasa yang dipakai pelanggan dan agen di chat sangat berbeda dari bahasa dokumen formal. Bahasa Indonesia punya tantangan NLP yang khas dibanding bahasa Inggris:

• Imbuhan yang mengubah bentuk kata. "Kembali", "dikembalikan", dan "pengembalian dana" berasal dari akar kata yang sama. Pencocokan kata kunci yang kaku bisa melewatkan ketiganya.
• Campur kode. Satu kalimat bisa berisi Bahasa Indonesia, istilah Inggris ("refund", "top up"), dan sesekali bahasa daerah seperti Jawa.
• Slang dan ejaan tidak konsisten. "Gak", "nggak", "ga", dan "tdk" punya arti yang sama.

Coba bayangkan menilai puisi dari terjemahannya. Penilai bisa menangkap isinya, tetapi pilihan kata dan tingkat kesopanan sudah hilang sebelum ia mulai membaca. Karena itu, tanyakan ke vendor apakah tools mereka menilai percakapan langsung dalam Bahasa Indonesia atau menerjemahkannya dulu. Kalau diterjemahkan dulu, perbedaan antara "kak" dan "Bapak/Ibu", yang mungkin diatur dalam SOP Anda, bisa saja hilang.

Perlu diingat juga bahwa mengklasifikasikan topik keluhan jauh lebih mudah daripada menilai benar tidaknya sebuah jawaban. Namun menilai apakah agen menyebut nominal refund yang benar sesuai kebijakan adalah tugas yang lain sama sekali. Dukungan bahasa di level model hanyalah titik awal, belum jaminan kualitas QA.

Bagaimana cara menguji apakah sebuah tools auto QA benar-benar bisa scoring dalam Bahasa Indonesia?

Setelah tahu letak kesulitannya, ujian yang adil harus sengaja menyentuh titik-titik sulit itu. Langkah praktisnya:

1. Pilih tiket yang berantakan. Ambil tiket asli yang penuh singkatan, campur kode, dan kasus kebijakan yang rumit, bukan contoh bersih dari vendor.
2. Minta QA analyst Anda menilai lebih dulu dengan QA scorecard yang biasa dipakai, tanpa melihat hasil AI.
3. Bandingkan per metrik. Angka kesepakatan keseluruhan bisa terlihat tinggi padahal satu metrik penting, misalnya pengungkapan wajib, selalu meleset.
4. Baca alasannya. Skor yang benar dengan alasan yang salah tetap merupakan kegagalan, karena hasilnya tidak akan konsisten di tiket berikutnya.
5. Uji perubahan SOP. Perbarui satu kebijakan, lalu periksa apakah evaluasi berikutnya sudah memakai versi yang baru.
6. Sepakati definisi akurasi sejak awal, sebelum hasil keluar.

Apa arti akurasi "di atas 95%" dalam auto QA, dan kenapa harus diukur per perusahaan?

Langkah terakhir di atas menjadi inti persoalan, karena akurasi hanya bermakna jika diukur terhadap standar Anda sendiri. Di RevelirQA, akurasi di atas 95% berarti ini: setelah kalibrasi bersama pelanggan, lebih dari 95 dari 100 evaluasi AI dinilai benar oleh QA analyst pelanggan saat mereka memvalidasi sampelnya. Angka ini bukan patokan universal dan tidak berlaku begitu saja sejak hari pertama.

Kalibrasi per pelanggan diperlukan karena "benar" itu berbeda di tiap perusahaan. Sapaan santai bisa lolos di satu tim e-commerce, sementara tim fintech mungkin mewajibkan pengungkapan tertentu. RevelirQA memasukkan SOP dan knowledge base pelanggan ke vector database, lalu mengambil dokumen yang relevan sebelum setiap penilaian (RAG). Dengan cara ini, AI menilai substansi jawaban terhadap kebijakan yang sebenarnya, tidak sekadar mencocokkan kata kunci.

Prosesnya terstruktur. Dalam pilot berbayar selama enam minggu, AI menilai subset yang disepakati dari 10.000 percakapan. Definisi dan target akurasinya ditetapkan bersama QA lead pelanggan pada minggu pertama. Selanjutnya, QA lead bisa mengoreksi nilai, agen bisa mengajukan keberatan, dan setiap perbedaan pendapat dipakai kembali untuk kalibrasi.

Kenapa jejak alasan di balik setiap skor penting untuk QA berbahasa Indonesia?

Kalibrasi hanya bisa berjalan kalau tim Anda bisa melihat cara AI sampai pada sebuah skor. Di RevelirQA, setiap evaluasi mencatat model yang dipakai, prompt yang dikirim, dokumen yang diambil dari knowledge base, dan alasan untuk setiap kriteria. Jejak ini tersedia di semua evaluasi, tidak hanya yang ditandai. Bagi Xendit, yang beroperasi di sektor fintech Indonesia yang diatur regulasi, auditabilitas seperti ini merupakan kebutuhan kepatuhan. Rendy D. dari tiket.com mengatakan: "We've manually reviewed tickets for years. Revelir is the first product that has made AI ticket review at scale actually usable."

Sebagai konteks, program QA manual biasanya hanya meninjau sampel kecil dari seluruh tiket. Banyak tools auto QA kini sudah menutup celah cakupan itu. Pertanyaan yang tersisa adalah apakah penilaiannya bisa dipercaya.

Pertanyaan yang Sering Diajukan (FAQ)

Apa itu AutoQA?
AutoQA atau auto QA adalah automated quality assurance untuk percakapan customer service. RevelirQA menjalankan auto QA dengan standar quality analyst manusia, dikalibrasi per pelanggan hingga akurasi di atas 95%, yang berarti ketika QA analyst Anda memvalidasi sampel evaluasi AI, lebih dari 95 dari 100 dinilai benar. Penilaian ini menggantikan peninjauan manual yang hanya mengambil sampel.

Apakah antarmuka berbahasa Indonesia berarti tools bisa menilai percakapan Indonesia?
Tidak. Antarmuka hanyalah hasil terjemahan. Kemampuan menilai harus dibuktikan dengan tiket asli Anda.

Bisakah auto QA menilai chatbot AI?
Bisa. RevelirQA menilai chatbot dan agen manusia dengan QA scorecard yang sama, sehingga skornya bisa dibandingkan langsung, asalkan log percakapan chatbot tersedia via API.

Apakah cakupan 100% sudah cukup?
Belum. Cakupan penuh tanpa penilaian yang akurat hanya memperbanyak skor yang salah.

Bahasa apa yang dinilai RevelirQA di produksi?
Bahasa Inggris, Indonesia, Thai, dan Tagalog, di lingkungan produksi bervolume tinggi. Di Xendit dan Tiket.com, RevelirQA menilai operasi customer service bervolume tinggi dalam Bahasa Indonesia dan Inggris yang memadukan agen manusia dan AI. Platform ini dibangun untuk enterprise global.

Apakah RevelirQA memberi sanksi otomatis?
Tidak. Hasil penilaian dikirim ke QA lead, dan QA lead yang memutuskan tindak lanjutnya.

Tentang Revelir AI

Revelir AI adalah perusahaan berbasis di Singapura yang membangun RevelirQA, AI quality assurance platform untuk customer service. RevelirQA menjalankan AutoQA dengan standar quality analyst manusia, dikalibrasi per pelanggan hingga akurasi di atas 95% dan divalidasi oleh QA analyst pelanggan pada sampel evaluasi. Penilaian dilakukan terhadap SOP pelanggan sendiri melalui RAG, dengan jejak audit lengkap di setiap skor. Platform ini terhubung ke helpdesk mana pun via API, termasuk Zendesk dan Salesforce, dan berjalan di produksi untuk Xendit dan Tiket.com.

Ingin melihat bagaimana tiket berbahasa Indonesia Anda dinilai dengan standar QA analyst terbaik Anda? Pelajari lebih lanjut atau hubungi tim Revelir AI di https://www.revelir.ai/.