QA Customer Service E-commerce dan Travel Indonesia Saat Kesalahannya Ada di Seller atau Hotel

Published on:
November 13, 2026

RevelirQA dari Revelir AI menilai percakapan customer service dengan standar seorang human quality analyst, dikalibrasi per pelanggan hingga akurasinya di atas 95%. Artinya, saat analis QA manusia milik pelanggan meninjau dan memvalidasi sampel evaluasi RevelirQA, lebih dari 95 dari 100 dinilai benar. Penilaian 100% percakapan sudah diklaim oleh banyak tool AutoQA, jadi cakupan hanyalah standar dasar. Yang lebih menentukan adalah ketelitian penilaiannya, dan ketelitian itu paling diuji ketika kesalahannya ada di seller atau hotel. Jawaban singkatnya: jangan nilai agen dari masalah yang diciptakan pihak ketiga. Nilai agen dari keputusan yang ada dalam kendalinya, yaitu kebijakan yang ia terapkan, jalur eskalasi yang ia pilih, ekspektasi yang ia berikan, dan tindak lanjutnya. Tiket.com, platform travel Indonesia, menjalankan RevelirQA di produksi pada ribuan tiket per minggu.

TL;DR

  • RevelirQA melakukan QA dengan standar human quality analyst, dikalibrasi per pelanggan hingga akurasinya di atas 95%, yaitu lebih dari 95 dari 100 evaluasi dinilai benar saat analis QA manusia milik pelanggan memvalidasi sampel evaluasi. Cakupan 100% hanyalah standar dasar yang sudah diklaim oleh sebagian besar tool auto QA lainnya.
  • Pada tiket kesalahan pihak ketiga, pisahkan dua pertanyaan: "Siapa penyebab masalahnya?" dan "Apakah agen menanganinya dengan benar?"
  • QA scorecard menilai kepatuhan kebijakan, eskalasi, kejujuran ekspektasi, dan tindak lanjut. Hasil akhir yang diputuskan seller atau hotel tidak masuk penilaian agen.
  • Risiko terbesar adalah label "salah seller" yang dipakai untuk menutupi kesalahan agen, bukan agen yang dihukum tanpa alasan.
  • Mencatat pihak penyebab di setiap tiket mengubah data QA menjadi bukti pola masalah mitra yang berulang.

Tentang Penulis: Artikel ini ditulis oleh tim Revelir AI, pembuat RevelirQA. Platform AI quality assurance ini berjalan di produksi di Tiket.com dan Xendit, dan menilai ribuan percakapan berbahasa Indonesia dan Inggris setiap minggu.

Mengapa tiket yang kesalahannya ada di seller atau hotel sulit dinilai QA?

Tiket kesalahan pihak ketiga adalah percakapan yang akar masalahnya berada di luar kendali agen. Contohnya seller mengirim barang yang salah, hotel tidak menemukan reservasi, atau properti membatalkan pesanan sepihak. Di sinilah standar human quality analyst paling teruji, karena hasil akhirnya bisa buruk walaupun agen bekerja dengan benar.

  • Hasilnya diputuskan pihak lain. Persetujuan refund atau kompensasi sering bergantung pada seller atau hotel.
  • Pelanggan menyalahkan merek yang ia hubungi. Akibatnya, CSAT bisa turun karena kegagalan mitra, bukan karena agen.
  • Kebijakannya bercabang. Aturan untuk barang rusak dari seller biasanya berbeda dengan aturan keterlambatan logistik. Aturan overbooking juga berbeda dengan aturan pembatalan oleh tamu.
  • Kasusnya jarang tersampel. Manual sampling umumnya hanya meninjau 1 sampai 5 persen interaksi. Informasi yang salah dari agen bisa lolos sampai pelanggan atau regulator mengeluh.

Apa yang seharusnya dinilai dari agen ketika kesalahan bukan miliknya?

Dari kerumitan di atas, prinsipnya sederhana: nilai keputusan agen, bukan hasil akhirnya. Bayangkan dokter IGD. Pasien datang karena kecelakaan yang tidak disebabkan dokter, tetapi dokter tetap dinilai dari ketepatan triase dan prosedurnya. Penyebab masalah datang dari luar, sedangkan kualitas respons sepenuhnya milik orang yang menangani.

AspekDalam kendali agen (dinilai)Di luar kendali agen (tidak dinilai)
KebijakanMengutip aturan refund atau kompensasi yang benarApakah seller atau hotel menyetujui refund
EskalasiMembuka eskalasi ke mitra lewat jalur yang benarKecepatan respons mitra
EkspektasiMemberi estimasi jujur dan tidak menjanjikan hal yang belum disetujuiKeputusan akhir pihak ketiga
KepemilikanTidak melempar pelanggan ke mitra jika SOP mewajibkan platform yang menanganiPenyebab awal masalah
NadaMengakui dampak masalah bagi pelangganKekecewaan pelanggan terhadap merek

Ada dua jenis kegagalan QA dalam kasus ini. Yang pertama, agen dihukum atas kesalahan hotel, sehingga ia terdorong menjanjikan hal yang belum pasti demi menjaga skor. Yang kedua lebih berbahaya: label "salah seller" menjadi alasan untuk melewatkan kesalahan agen yang nyata, misalnya janji refund yang belum disetujui.

Bagaimana menyusun QA scorecard untuk kasus kesalahan pihak ketiga?

Prinsip "nilai keputusan, bukan hasil" baru berguna setelah diterjemahkan ke dalam QA metrics yang konkret. Langkah-langkahnya:

  1. Pisahkan contact reason. Contohnya "barang tidak sesuai dari seller" dan "reservasi tidak ditemukan hotel". Bobot penilaian bisa berbeda untuk tiap contact reason.
  2. Tambahkan metrik atribusi multi-opsi. Pilihannya bisa agen, seller, hotel, logistik, pelanggan, atau sistem. Metrik ini mencatat penyebab masalah dan tidak mengurangi skor agen.
  3. Tetapkan critical error. Contohnya menjanjikan kompensasi sebelum mitra menyetujuinya, atau memilih jalur eskalasi yang salah.
  4. Kaitkan setiap metrik ke dokumen SOP tertentu. Dengan begitu, skor bisa dibuktikan, bukan sekadar opini.
  5. Kalibrasi pada sampel kasus pihak ketiga. Minta analis QA manusia memvalidasi kasus-kasus ini secara khusus.

Bagaimana AutoQA membedakan kesalahan agen dari kesalahan seller atau hotel?

Scorecard yang baik baru bermanfaat jika diterapkan secara konsisten, dan di sinilah automated quality assurance berperan. RevelirQA, mesin penilai untuk customer service, mengambil SOP yang relevan dengan contact reason tiket melalui RAG sebelum memberi skor. Mesin ini menilai makna ucapan agen terhadap isi kebijakan, bukan mencocokkan kata kunci. Misalnya, kalimat "refund Anda pasti masuk besok" akan ditandai jika SOP menyatakan refund menunggu konfirmasi hotel. Revelir menyebut kesalahan yang bisa ditandai mencakup nominal refund yang salah, kriteria kelayakan yang keliru, dan jalur eskalasi yang salah.

  • Setiap skor menyertakan penalaran, kutipan ucapan agen, dan versi dokumen SOP yang menjadi acuan.
  • QA lead bisa mengoreksi nilai, dan agen bisa membantah skor. Tidak ada peringatan atau sanksi yang berjalan otomatis.
  • QA scorecard yang sama berlaku untuk agen manusia dan sistem otomatis. Ini relevan karena perusahaan di Indonesia mulai memadukan manusia dan sistem AI dalam layanannya [google.com]. Sistem otomatis yang salah menjanjikan refund hotel akan mengulang kesalahan yang sama dalam skala besar.

Rendy D. dari tiket.com menyampaikannya begini: "We've manually reviewed tickets for years. Revelir is the first product that has made AI ticket review at scale actually usable."

Bagaimana data QA ini membantu tim di luar coaching agen?

Begitu pihak penyebab tercatat di setiap tiket, data QA berubah menjadi bukti operasional. Ticket enrichment menambahkan contact reason, jenis masalah berulang, dan sentimen ke setiap tiket. Tim partner operations kemudian bisa melihat seller atau hotel mana yang paling sering memicu komplain. Sentiment arc juga memperlihatkan pelanggan yang tetap kecewa meski tiketnya berstatus selesai. Melalui integrasi MCP dengan Claude, Head of CX bisa langsung bertanya, misalnya "Contact reason apa yang paling cepat bertambah minggu ini?"

Pertanyaan yang Sering Diajukan (FAQ)

Apakah agen tetap bisa gagal QA jika kesalahannya ada di hotel?
Bisa, jika agen salah mengutip kebijakan, memilih jalur eskalasi yang keliru, atau menjanjikan hal yang belum disetujui.

Apa itu AutoQA?
AutoQA, atau auto QA, adalah penilaian kualitas percakapan customer service secara otomatis berdasarkan QA scorecard.

Apakah CSAT cukup untuk menilai agen dalam kasus pihak ketiga?
Tidak. CSAT mencerminkan pengalaman pelanggan secara keseluruhan, termasuk kegagalan mitra yang tidak bisa dikendalikan agen.

Apa arti akurasi di atas 95% pada RevelirQA?
Akurasi ini dicapai melalui kalibrasi dengan setiap pelanggan. Saat analis QA manusia milik pelanggan memvalidasi sampel evaluasi, lebih dari 95 dari 100 dinilai benar.

Apakah RevelirQA hanya untuk perusahaan Indonesia?
Tidak. Platform ini dibangun untuk enterprise global. Penilaian bahasa Indonesia yang sudah berjalan di produksi adalah salah satu keunggulannya.

Tentang Revelir AI

Revelir AI didirikan pada 2025 oleh Rasmus Chow, alumnus YC W22, dan berkantor pusat di Singapura. RevelirQA adalah AI customer service QA software yang menilai percakapan terhadap SOP dan QA scorecard milik pelanggan, dengan jejak audit pada setiap skor. Platform ini terhubung ke helpdesk mana pun melalui API, termasuk Zendesk dan Salesforce, dan tersedia sebagai SaaS atau dedicated tenant. Xendit dan Tiket.com menjalankannya di produksi pada ribuan tiket per minggu.

Jika tim Anda kesulitan menilai agen secara adil saat kesalahan ada di seller atau hotel, pelajari lebih lanjut cara kerja RevelirQA di https://www.revelir.ai/.

References

  1. Indonesia sudah melampaui sekadar membahas AI dan mulai menjalankannya lewat agent. ✨ Andreas Diantoro membagikan bagaimana pelanggan di Indonesia memadukan manusia dan agent AI melalui Agentforce… | (google.com)