RevelirQA melakukan auto QA setara standar human quality analyst, dikalibrasi untuk setiap customer hingga human QA reviewer memvalidasi bahwa lebih dari 95% hasil penilaiannya benar pada sampel yang direview. Soft skill seperti empati, tone, dan active listening sering terlewat oleh sistem AutoQA, bukan karena AI tidak bisa mendeteksinya, tapi karena sebagian besar scorecard dirancang di sekitar policy check yang sifatnya biner (apakah agent memverifikasi identitas, apakah agent menawarkan script refund) yang tidak punya padanan untuk pertanyaan seperti "apakah respons ini terdengar manusiawi". Solusinya bukan meninggalkan policy check atau menambahkan soft skill sebagai pelengkap belaka. Solusinya adalah menuliskan soft skill ke dalam scorecard QA sebagai kriteria yang bisa diamati dan berbasis bukti, setara dengan item policy yang sifatnya hard, dan menjadikan sesi coaching, bukan skor itu sendiri, sebagai tempat untuk membahas nuansa. Karena RevelirQA menilai 100% percakapan berdasarkan scorecard QA milik perusahaan sendiri, kriteria soft skill diterapkan dengan konsistensi yang sama seperti policy check, pada setiap ticket, bukan hanya pada sampel yang dipilih secara manual.

Ringkasan

• RevelirQA melakukan auto QA setara standar human quality analyst, dikalibrasi untuk setiap customer hingga human QA reviewer memvalidasi bahwa lebih dari 95% hasil penilaiannya benar pada sampel yang direview. Penilaian setara manusia inilah yang jadi pembeda utama; coverage 100% sendiri sudah jadi standar minimum yang diklaim hampir semua tool AutoQA.
• Policy check yang sifatnya hard (langkah compliance, disclosure, script) mudah diotomatisasi karena bersifat biner. Soft skill seperti empati dan tone sering terlewat karena sebagian besar scorecard tidak pernah menerjemahkannya menjadi kriteria yang bisa diamati dan diperiksa.
• Kerangka QA andalan di industri sudah memperlakukan soft skill sebagai Non-Critical Error, terpisah dari pelanggaran policy, sehingga scorecard membutuhkan dua kategori yang dinilai secara terpisah, bukan digabung jadi satu skor.
• Coaching soft skill paling efektif saat dibangun dari momen spesifik yang ditandai dalam transcript, bukan dari catatan generik seperti "lebih empati lagi".
• RevelirQA menilai setiap percakapan berdasarkan SOP milik perusahaan sendiri, sehingga program coaching untuk policy maupun soft skill dibangun dari visibilitas penuh atas perilaku agent yang sebenarnya, bukan dari sampel 1-5% yang selama ini jadi andalan manual QA.

Tentang Penulis: Artikel ini disusun berdasarkan pengalaman Revelir AI dalam mengembangkan dan mengkalibrasi RevelirQA, platform AI quality assurance yang digunakan dalam operasional tim customer service dengan volume tinggi, termasuk Xendit dan Tiket.com, menilai ribuan percakapan per minggu di operasional support berbahasa Inggris, Indonesia, Thailand, dan Tagalog.

Kenapa scorecard AutoQA lebih condong ke policy check dibanding soft skill?

Scorecard AutoQA lebih condong ke policy check karena item policy secara struktural lebih mudah didefinisikan: agent memverifikasi akun atau tidak, disclosure refund dibacakan atau tidak. Soft skill tidak punya struktur sejelas itu. "Empati" dan "tone" adalah abstraksi, bukan tindakan, sehingga saat tim QA menuliskannya ke scorecard tanpa menerjemahkannya menjadi sesuatu yang bisa diamati, baik human reviewer maupun mesin penilai AI cenderung menilai berdasarkan feeling, yang menghasilkan hasil yang tidak konsisten antar reviewer [kaizo.com]. Inilah sebabnya kerangka terkemuka seperti COPC Customer Experience Standard memisahkan soft skill dan profesionalisme ke dalam kategori Non-Critical Error, berbeda dari pelanggaran policy yang membuat sebuah transaksi dianggap cacat secara kritis. Kedua kategori ini dilacak secara terpisah karena mengukur hal yang berbeda: satu mengukur apakah agent mengikuti aturan, satu lagi mengukur apakah pelanggan mendapat pengalaman yang baik selama aturan itu dijalankan.

Apa risikonya kalau hanya menilai policy check yang sifatnya hard?

Risikonya adalah program QA yang melaporkan skor tinggi sementara kepuasan pelanggan diam-diam menurun. Penilaian QA yang hanya berbasis policy sering menghasilkan skor internal yang terlihat tinggi tapi tidak berkorelasi dengan kepuasan pelanggan sebenarnya, karena kerangka semacam ini hanya fokus pada kepatuhan prosedural. Seorang agent bisa mengikuti setiap langkah script, memverifikasi identitas, membacakan semua disclosure yang diwajibkan, dan menutup ticket dalam SLA, tapi tetap membuat pelanggan frustrasi karena jawabannya terdengar kaku, tidak menangkap pertanyaan asli pelanggan, atau tidak pernah mengakui bahwa pelanggan sudah menghubungi support dua kali untuk masalah yang sama. Scorecard yang hanya memeriksa policy akan tetap menandai ticket itu sebagai lolos. Celah inilah yang coba ditutup oleh penilaian soft skill, dan celah yang sama juga bisa dimanfaatkan kalau soft skill dibiarkan sebagai item generik tanpa definisi yang jelas.

Bagaimana mengubah soft skill menjadi kriteria QA yang bisa diperiksa?

Caranya adalah mengganti sifat abstrak itu dengan perilaku yang bisa diamati. Alih-alih menilai "empati" dengan skala 1 sampai 5, scorecard QA sebaiknya memakai pertanyaan ya/tidak yang terkait langsung dengan sesuatu yang benar-benar terjadi dalam transcript: apakah agent menyebut emosi pelanggan di awal percakapan, apakah agent mengakui adanya kontak berulang, apakah agent menghindari bahasa copy-paste saat pelanggan menunjukkan kekesalan [justcall.io]. Satu indikator yang bisa diamati per baris, dinilai ya atau tidak, jauh lebih reliable dibanding skala 1 sampai 5 karena menghilangkan tebak-tebakan yang membuat dua reviewer menilai percakapan yang sama secara berbeda [justcall.io].

Soft skill	Item scorecard yang samar	Versi yang bisa diamati dan diperiksa
Empati	"Menunjukkan empati" (1-5)	Menyebut emosi atau kekesalan pelanggan pada balasan pertama (ya/tidak)
Active listening	"Mendengarkan dengan baik" (1-5)	Merujuk detail spesifik yang disampaikan pelanggan, tanpa meminta pelanggan mengulanginya (ya/tidak)
Tone	"Tone profesional" (1-5)	Menghindari bahasa script setelah pelanggan menunjukkan kekesalan dua kali (ya/tidak)
Resolusi konflik	"Menangani konflik dengan baik" (1-5)	Menawarkan langkah konkret atau alternatif saat solusi pertama ditolak (ya/tidak)

Keempat kategori ini, empati, active listening, komunikasi yang jelas, dan resolusi konflik, adalah kategori soft skill standar yang diakui di berbagai kerangka kualitas customer service, dan masing-masing bisa dipecah menjadi dua atau tiga indikator yang bisa diamati seperti contoh di atas, bukan dinilai sebagai satu penilaian abstrak tunggal.

Bagaimana sebaiknya platform AutoQA menilai soft skill berdampingan dengan policy check?

Dari struktur scorecard di atas, pertanyaan yang lebih sulit adalah bagaimana mesin AutoQA benar-benar menerapkannya secara konsisten pada setiap percakapan yang ditangani agent, bukan hanya pada percakapan yang kebetulan direview manager. Zendesk's 2026 Customer Service Quality Benchmark Report menemukan bahwa biasanya hanya 2% percakapan customer service yang direview secara manual, yang berarti coaching soft skill yang dibangun dari sampling manual sebenarnya hanya dibangun dari potongan 2% perilaku asli agent. RevelirQA menilai setiap percakapan berdasarkan scorecard QA milik perusahaan sendiri, dengan kriteria soft skill diterapkan dengan konsistensi yang sama seperti policy check, pada setiap ticket, bukan hanya sampel yang dipilih manual. Karena item scorecard bisa dikonfigurasi sebagai biner, multi-opsi, atau kriteria berskala, tim bisa menjalankan policy check dan soft skill check pada ticket yang sama, dinilai secara terpisah, sesuai rekomendasi kerangka seperti COPC.

Yang lebih penting dibanding coverage adalah apakah penilaian AI terhadap soft skill benar-benar sejalan dengan kesimpulan yang akan diambil human reviewer yang terlatih. Mengenali policy yang terlewat adalah soal pencocokan data; mengenali apakah tone seorang agent berhasil meredakan pelanggan yang kesal membutuhkan penilaian kontekstual yang lebih dekat dengan cara kerja human QA analyst. Inilah kalibrasi yang dijalankan Revelir untuk setiap customer: AI disesuaikan berdasarkan scorecard dan transcript milik perusahaan tersebut hingga human QA analyst, setelah mereview sampel hasil penilaian RevelirQA, mengonfirmasi bahwa lebih dari 95% penilaiannya benar. Ambang batas ini, yang divalidasi secara independen per customer, bukan klaim generik dari vendor, menjadi acuan standar industri untuk sistem QA berbasis AI, dan inilah yang membedakan tool auto QA yang sekadar menandai keyword dari tool yang menilai soft skill selayaknya seorang quality analyst.

Bagaimana melatih agent pada soft skill setelah ditandai?

Pertanyaan ini berbeda dari soal penilaian: seperti apa bentuk coaching setelah ada kebutuhan soft skill yang ditandai. Coaching berhasil saat dikaitkan dengan momen spesifik yang bisa diamati dalam transcript asli, bukan sifat umum. Coaching call center yang dibangun dari bukti spesifik, transcript berpasangan, dan data performa yang jelas secara konsisten disebut lebih efektif dibanding sesi feedback yang generik [zoom.com][salesken.ai]. Manager yang hanya bilang "lebih empati lagi" tidak memberi agent sesuatu yang bisa langsung dilakukan. Catatan coaching yang berbunyi "di ticket ini, pelanggan mengulang keluhannya dua kali dan baru diakui di pesan ketiga, berikut contoh pengakuan yang bisa diberikan lebih awal" memberi agent perilaku konkret untuk diperbaiki [intryc.com]. Inilah juga alasan kenapa membiarkan agent melihat dan mempertanyakan skor yang dihasilkan AI itu penting: saat agent memahami alasan di balik sebuah skor, mereka jadi lebih terbuka pada coaching, bukan menganggapnya sembarangan [voxjar.com].

RevelirQA mendukung hal ini dengan menghasilkan jejak alasan penilaian di balik setiap skor, yang mendokumentasikan pertimbangan model, bahasa policy atau scorecard yang diambil, dan penalaran spesifik yang menghasilkan skor tersebut. Untuk soft skill yang ditandai, jejak ini menjadi materi coaching itu sendiri: manager dan agent bisa melihat persis bagian transcript mana yang memicu penandaan dan kenapa, alih-alih memperdebatkan ulang apakah skornya adil.

FAQ

Apakah AI benar-benar bisa mendeteksi soft skill seperti empati dan tone dalam sebuah transcript?
Bisa, selama soft skill tersebut diterjemahkan menjadi kriteria yang bisa diamati, bukan dibiarkan sebagai sifat abstrak. Mesin penilai AI bisa secara reliable memeriksa apakah agent menyebut emosi pelanggan, merujuk detail spesifik yang disampaikan pelanggan, atau menghindari bahasa script setelah kekesalan berulang, karena semua itu adalah pola yang terdeteksi dalam teks, bukan kesan subjektif.

Apakah soft skill dan policy check sebaiknya digabung jadi satu skor QA keseluruhan?
Tidak. Kerangka terkemuka seperti COPC menilainya secara terpisah, memperlakukan masalah soft skill dan profesionalisme sebagai Non-Critical Error yang berbeda dari pelanggaran policy, sehingga tim bisa melihat di mana agent gagal memenuhi policy dibanding di mana mereka gagal memberikan pengalaman pelanggan yang baik, bahkan saat policy sudah diikuti dengan benar.

Berapa banyak percakapan yang biasanya direview manual QA untuk soft skill?
Benchmark industri menunjukkan manual QA review biasanya hanya mencakup sekitar 2% dari total percakapan, yang sangat membatasi jumlah data coaching soft skill yang tersedia bagi manager.

Tingkat akurasi berapa yang harus dicapai sistem AI QA sebelum tim bisa mempercayainya untuk menilai soft skill?
Ambang batas standar industri adalah di atas 95% akurasi, yang divalidasi dengan meminta human QA analyst milik customer sendiri mereview sampel hasil penilaian AI dan mengonfirmasi kesesuaiannya dengan skor tersebut, bukan berdasarkan benchmark generik dari vendor.

Apakah penilaian 100% percakapan menggantikan kebutuhan akan human QA analyst?
Tidak. Coverage penuh mengubah fokus kerja human analyst, dari sebelumnya mengambil sampel manual sebagian kecil ticket, menjadi mereview pola yang ditandai, mengkalibrasi AI, dan menjalankan sesi coaching dengan agent.

Apakah sistem auto QA yang sama bisa menilai soft skill pada human agent maupun interaksi chatbot AI?
Bisa. Seiring makin banyak perusahaan menjalankan chatbot AI berdampingan dengan agent manusia, satu scorecard QA yang sama diterapkan pada keduanya memberi pemimpin CX satu gambaran konsisten atas performa soft skill dan policy di seluruh operasional support, bukan standar terpisah untuk bot dan manusia.

Tentang Revelir AI

Revelir AI mengembangkan RevelirQA, mesin AI AutoQA yang menilai percakapan berdasarkan policy dan scorecard QA milik perusahaan sendiri, dikalibrasi untuk setiap customer hingga human QA analyst memvalidasi akurasi di atas 95% pada sampel hasil penilaian. Didirikan di Singapura pada 2025, Revelir digunakan dalam operasional perusahaan seperti Xendit dan Tiket.com, menilai ribuan percakapan per minggu di operasional support berbahasa Inggris, Indonesia, Thailand, dan Tagalog. Setiap skor RevelirQA disertai jejak alasan penilaian yang lengkap, model yang digunakan, dokumen policy yang diambil, dan penalaran di balik skor tersebut, sehingga tim QA dan CX punya dasar yang bisa diaudit untuk coaching, baik pada policy check maupun soft skill. Karena RevelirQA mengambil SOP milik perusahaan sendiri lewat RAG, bukan menilai berdasarkan benchmark generik, kriteria soft skill dievaluasi berdasarkan standar yang memang digunakan perusahaan tersebut untuk melatih agent-nya.

Jika timmu ingin membangun soft skill ke dalam program auto QA tanpa kehilangan konsistensi pada policy check, hubungi Revelir AI untuk melihat bagaimana RevelirQA menilai keduanya pada setiap percakapan.