Chatbot KPI'ları: Hangi Metrikleri Ölçmelisiniz?

Chatbot yatırımının işe yarayıp yaramadığını anlamanın tek yolu doğru Performans Göstergelerini (KPI) ölçmektir. Ancak sahada en sık yapılan hata, panelde en görünür duran sayıya bakmaktır: toplam mesaj sayısı. Bu sayı botun ne kadar meşgul olduğunu söyler, ne kadar işe yaradığını söylemez. Mesaj hacmi, bot yanlış cevap verdiği için müşteri soruyu üç kez tekrarladığında da artar.

Bu rehber, bir chatbot'un başarısını ölçen metrikleri tanımlar; her biri için hesaplama formülünü, hangi hedef aralığın makul olduğunu ve metriğin sizi hangi durumda yanılttığını açıklar.

Chatbot KPI nedir?

Chatbot KPI'ı, otomatik müşteri iletişiminin belirli bir iş hedefine ne ölçüde katkı verdiğini sayısal olarak gösteren performans göstergesidir. Tanımın kritik kısmı "belirli bir iş hedefi" ifadesidir: bağlamından koparılmış bir metrik KPI değil, yalnızca bir sayıdır.

Örnek: %90 otomasyon oranı tek başına iyi bir haber değildir. Bot, cevaplayamadığı soruları müşteriyi oyalayarak kapatıyorsa otomasyon oranı yükselir, memnuniyet ve satış düşer. Bu yüzden KPI'lar daima en az bir karşıt metrikle eşleştirilerek okunur.

Ölçmeye başlamadan önce: hangi hedefe bağlıyorsunuz?

Aynı bot, hangi hedefe hizmet ettiğine göre farklı metriklerle değerlendirilir. Önce hedefi seçin, KPI setini sonra kurun:

• Destek maliyetini düşürmek: ana metrik otomasyon oranı ve konuşma başına maliyet; karşıt metrik CSAT ve tekrar temas oranı.
• Satış ve randevu üretmek: ana metrik dönüşüm oranı ve nitelikli görüşme sayısı; karşıt metrik devir oranı ve yanıt doğruluğu.
• Yanıt hızını garanti etmek: ana metrik ilk yanıt süresi ve mesai dışı karşılama oranı; karşıt metrik çözüm oranı.

Temel chatbot KPI'ları ve hesaplama formülleri

1. Otomasyon oranı (deflection rate)

İnsan temsilciye hiç aktarılmadan sonlanan görüşmelerin payıdır. En sık kullanılan ve en sık yanlış okunan metriktir.

Formül: (İnsana aktarılmayan görüşme ÷ Toplam görüşme) × 100

Hesaplarken selam verip kapanan veya spam görüşmeleri paydadan çıkarın; aksi halde oran yapay biçimde yükselir. Pratikte olgun bir kurguda %60-85 aralığı makul bir hedeftir, ancak soru çeşitliliği yüksek işletmelerde daha düşük bir oran da sağlıklı olabilir.

2. Kapsama oranı (containment) ve gerçek çözüm farkı

Kapsama, görüşmenin bot içinde bitmesidir; çözüm ise müşterinin ihtiyacının gerçekten karşılanmasıdır. İkisi aynı şey değildir ve aradaki fark en pahalı yanılgıdır.

Formül: (Müşterinin 24 saat içinde aynı konuyla tekrar yazmadığı bot görüşmesi ÷ Bot içinde biten görüşme) × 100

Tekrar temas oranı yükseliyorsa otomasyon oranındaki iyileşme sahtedir: müşteri çözülmediği için geri dönmektedir.

3. İlk yanıt süresi (FRT)

Müşterinin mesajı ile ilk anlamlı yanıt arasındaki süredir. Otomasyonun en net üstünlük sağladığı alandır; botta hedef saniyeler mertebesindedir.

Burada ölçülmesi gereken, otomatik "Merhaba, size nasıl yardımcı olabilirim?" mesajı değil ilk anlamlı yanıttır. Karşılama mesajını FRT sayan panel, metriği anlamsızlaştırır.

4. Temsilciye devir oranı

Canlı desteğe aktarılan görüşmelerin payıdır. Düşük olması her zaman iyi değildir: sıfıra yakın devir, botun aktarması gereken görüşmeleri de tuttuğu anlamına gelebilir.

Formül: (İnsana aktarılan görüşme ÷ Toplam görüşme) × 100

Bu metriği devir sonrası CSAT ile birlikte okuyun. Devir oranı düşük ama devredilen görüşmelerin memnuniyeti de düşükse, bot çok geç aktarıyor demektir.

5. Dönüşüm oranı ve gelir katkısı

Ticari kullanımda en önemli KPI budur. Sohbetin randevu, teklif veya siparişe dönüşme oranını ölçer.

Formül: (Hedef eylemi tamamlayan görüşme ÷ Ticari niyet taşıyan görüşme) × 100

Paydaya tüm görüşmeleri değil yalnızca niyet sinyali taşıyanları koyun; "çalışma saatleriniz nedir?" sorusunu dönüşüm paydasına eklemek oranı gereksiz yere düşürür ve gerçek performansı gizler.

6. CSAT ve CES

CSAT görüşme sonu memnuniyeti, CES ise müşterinin sonuca ulaşmak için harcadığı çabayı ölçer. CES çoğu destek senaryosunda CSAT'tan daha erken uyarı verir: müşteri henüz şikâyet etmeden zorlandığını gösterir.

Ankete yanıt verenlerin genellikle uçlardaki kullanıcılar olduğunu unutmayın; CSAT'ı tek başına değil, tekrar temas ve devir oranıyla birlikte okuyun.

7. Yanıt doğruluğu ve halüsinasyon oranı

Yapay zekâ tabanlı botlarda ölçülmesi en çok ihmal edilen, en kritik metriktir. Haftalık rastgele görüşme örneklemini insan gözüyle etiketleyerek hesaplanır.

Formül: (Bilgi tabanıyla çelişen veya uydurma bilgi içeren yanıt ÷ İncelenen yanıt) × 100

Hedef sıfıra yakın olmalıdır. Yükselişte bir halüsinasyon oranı, diğer tüm KPI'ları geçersiz kılar. Ayrıntı için halüsinasyon ve yanlış cevap önleme ile RAG nedir yazılarımıza bakabilirsiniz.

8. Konuşma başına maliyet

Toplam sahiplik maliyetini görüşme sayısına bölerek hesaplanır ve insan destek maliyetiyle karşılaştırılır.

Formül: (Abonelik + kanal/konuşma ücretleri + kurulum amortismanı) ÷ Toplam görüşme

Maliyet kalemlerinin dökümü için WhatsApp chatbot fiyatları rehberimizi inceleyebilirsiniz.

Formül özeti

KPI'ları yanıltan 7 tuzak

• Karşılama mesajını FRT saymak: metrik mükemmel görünür, müşteri deneyimi değişmez.
• Spam ve test görüşmelerini paydada bırakmak: otomasyon oranını yapay olarak şişirir.
• Devir oranını tek başına düşürmeye çalışmak: bot, aktarması gereken görüşmeleri tutar; memnuniyet düşer.
• Yalnızca ankete yanıt verenlere bakmak: sessiz çoğunluğun deneyimi ölçülmeden kalır.
• Kanalları birlikte ortalamak: WhatsApp ve web sohbetinin niyet yoğunluğu farklıdır; ortalama ikisini de gizler.
• Mesai içi ve dışını ayırmamak: botun en çok değer ürettiği saatler görünmez hale gelir.
• Halüsinasyon oranını hiç ölçmemek: en pahalı hata sessizce birikir.

30-60-90 günlük ölçüm planı

Tüm metrikleri ilk günden izlemeye çalışmak dikkat dağıtır. Kademeli bir plan daha iyi sonuç verir:

• İlk 30 gün, temel çizgi: yalnızca hacim, FRT, devir oranı ve halüsinasyon örneklemesi. Amaç hedef koymak değil, mevcut durumu dürüstçe kaydetmektir.
• 31-60 gün, kalite: gerçek çözüm oranı, tekrar temas ve CSAT eklenir. Bilgi tabanındaki boşluklar devir gerekçelerinden çıkarılır.
• 61-90 gün, ticari etki: dönüşüm oranı ve konuşma başına maliyet eklenir; bot mesajları A/B testiyle iyileştirilir.

Devir eşiklerini ve aktarma kurallarını kurgularken canlı temsilciye devir rehberimiz, otomasyonun müşteriye açıkça bildirilmesi konusunda ise bot şeffaflığı yazımız yol gösterir.

Hedefler sektöre göre değişir

Tek bir "doğru" hedef seti yoktur. Soru çeşitliliği ve işlem riski arttıkça otomasyon hedefi düşer, doğruluk hedefi yükselir:

Kaçırılan görüşmelerin somut gelir etkisini hesaplamak için kaçırılan müşterilerin maliyeti yazımızdaki modeli kullanabilirsiniz.

BozLat AI panelinde ölçüm

BozLat AI panelinde görüşme kayıtları, devir gerekçeleri ve kanal bazlı dağılım tek ekranda izlenir; böylece yukarıdaki formüller için gereken ham veriye elle rapor çıkarmadan ulaşırsınız. Paketleri ve kapsamı görmek için BozLat AI fiyatlar sayfamızı inceleyebilirsiniz.