Chatbot Mesajlarında A/B Testi: Neyi, Nasıl Ölçmeli?

Asistanın ilk cümlesi, buton metni, fiyat sorusuna verdiği yanıtın uzunluğu - bunların hepsi birer varsayımdır. Çoğu işletme bu varsayımları tartışarak değiştirir: birileri 'daha samimi olsun' der, metin değişir, sonuç ölçülmez. A/B testi bu tartışmayı veriye çevirir, ama küçük trafikte yanlış kurulduğunda gürültüyü içgörü sanmaya yol açar.

Neyi Test Etmeye Değer?

Etkisi düşük olan değişkenlerle başlamayın. Emoji tartışması, karşılama mesajının müşteriyi konuşmada tutup tutmadığı sorusundan çok daha az önemlidir.

Testin Kurulumu

• Tek değişken değiştirin. Hem metni hem butonları hem zamanlamayı aynı anda değiştirirseniz hangisinin işe yaradığını bilemezsiniz.
• Başarıyı önceden tanımlayın. 'Daha iyi' değil; 'randevuya dönüşen konuşma oranı' gibi tek bir metrik seçin.
• Dağıtımı rastgele yapın. Sabah A, öğleden sonra B şeklinde bölmek, testi mesaj yerine saat farkını ölçmeye çevirir.
• Süreyi tam haftalara yuvarlayın. Hafta içi ve hafta sonu davranışı farklıdır; beş günlük test yanıltır.
• Testi bitirmeden bakmayın. Erken bakılan test, ilk günün rastlantısıyla kapatılır.

Küçük Trafik Sorunu

Günde otuz konuşma alan bir işletmede iki varyantın küçük farkını ayırt etmek istatistiksel olarak zordur. Bu, test yapamayacağınız anlamına gelmez; test yönteminizi değiştirmeniz gerektiği anlamına gelir:

• Küçük farkları değil, belirgin farkları test edin. İki kelimelik değişiklik yerine yaklaşım farkı deneyin: soru sorarak başlayan bir karşılama ile bilgi vererek başlayan bir karşılama.
• Testi uzatın. Dört haftalık bir test, iki günlük bir testten çok daha güvenilirdir.
• Nadir olayları değil, sık olayları ölçün. 'Satın alma' yerine 'ikinci mesajı gönderme' gibi daha sık gerçekleşen bir adımı metrik yapın.
• Sayı yetmiyorsa niteliğe bakın: elli konuşmayı okumak, yüz konuşmanın anlamsız yüzdesinden fazlasını anlatır.

Sık Yapılan Dört Hata

• Sonuca göre metrik seçmek: test bittikten sonra hangi metrikte fark varsa onu başarı ilan etmek.
• Kampanya haftasında test yapmak: trafiğin bileşimi değiştiği için sonuç normal haftaya taşınmaz.
• Aynı müşteriye iki varyantı göstermek: kişi bazında sabitlenmeyen dağıtım, tekrar gelen müşteride sonucu bulandırır.
• Kazananı uygulamayı unutmak: testlerin gerçek kaybı, sonucu hiç hayata geçirmemektir.

Testten Sonra: Kalıcı Hâle Getirme

Kazanan varyantı yayına aldıktan sonra iki hafta boyunca aynı metriği izlemeye devam edin. Test ortamında görülen fark, canlıda her zaman aynı büyüklükte kalmaz. Ayrıca kazanan metni bilgi tabanı ve şablon setine işleyin; yalnızca bir akışta güncellenen cümle, diğer kanallarda eski hâliyle kalırsa deneyim tutarsızlaşır. Ölçüm çerçevesinin bütününü chatbot KPI ve başarı metrikleri yazısında ele almıştık.

Şablonlarda Test Yaparken

Onaylı şablonlarla test yapıyorsanız her varyant ayrı bir şablondur ve ayrı ayrı onaylanır. Onay süresini test planına ekleyin; ayrıca varyantların aynı kategoride olması gerekir, aksi hâlde faturalama ve teslimat davranışı farklılaşır ve karşılaştırma bozulur. Şablon kuralları için şablon onay ret nedenleri yazısına bakabilirsiniz.

BozLat AI ile

BozLat AI kurulumlarında karşılama, yönlendirme ve hatırlatma mesajları yapılandırılabilir; hangi varyantın hangi konuşmada kullanıldığı kayda geçer ve dönüşüm metrikleri varyant bazında raporlanır. Böylece metin değişiklikleri tartışmayla değil, ölçümle kararlaştırılır. Kapsam için fiyatlar sayfasına bakabilirsiniz.