Yapay Zekâ Asistanı Uydurma Cevap Verirse: Halüsinasyonu Önleme

Bir müşteri hizmet asistanının verebileceği en pahalı yanıt, kulağa doğru gelen yanlış yanıttır. Model, elinde bilgi olmadığında sessiz kalmak yerine boşluğu tahminle doldurabilir: olmayan bir indirimi duyurur, yanlış bir teslimat süresi söyler, sunmadığınız bir hizmeti taahhüt eder. Bu davranışa halüsinasyon denir ve tamamen model kalitesiyle ilgili değildir — büyük ölçüde nasıl kurgulandığıyla ilgilidir.

Halüsinasyon Neden Ortaya Çıkar?

• Bilgi tabanında karşılığı olmayan bir soru sorulur ve asistanın 'bilmiyorum' diyebileceği bir çıkış tanımlanmamıştır.
• Bilgi tabanı çelişkilidir: iki farklı belgede iki farklı fiyat veya çalışma saati vardır, model birini seçer.
• Talimat, modeli her koşulda yardımcı olmaya zorlar; 'müşteriyi asla boş çevirme' tarzı bir yönerge uydurmayı teşvik eder.
• Soru, işletmenin alanı dışındadır (vergi, hukuk, sağlık tavsiyesi) ve asistan kapsam sınırını bilmez.
• Geçmiş konuşmadan taşan bağlam yanlış eşleşir; bir önceki müşterinin siparişine ait bilgi yeni sohbete sızar.

Birinci Savunma: Cevabı Kaynağa Bağlamak

En etkili önlem, asistanın serbestçe hatırlamasına değil, yalnızca sizin verdiğiniz belgelerden okumasına izin vermektir. Getirim tabanlı üretim (RAG) mimarisi tam olarak bunu yapar: soru geldiğinde önce bilgi tabanında arama yapılır, bulunan pasajlar modele verilir ve yanıt bu pasajlardan üretilir. Uygun pasaj bulunamazsa yanıt üretilmez. Bu yaklaşımın nasıl kurulduğunu RAG nedir yazımızda ayrıntılı anlattık.

Kaynağa bağlamanın kritik detayı eşiktir: arama sonucu yeterince benzer değilse asistan cevap üretmemelidir. Eşik çok gevşek olursa alakasız pasajla uydurma cevap üretilir; çok sıkı olursa asistan sürekli devrediyor demektir. Doğru ayar, gerçek müşteri sorularıyla denenerek bulunur.

İkinci Savunma: 'Bilmiyorum' Diyebilme İzni

Asistanın bilmediğini söyleyebilmesi bir kusur değil, tasarım gereğidir. İyi kurulmuş bir akışta üç çıkış vardır: bilgi tabanından yanıtla, netleştirici soru sor, insana devret. Bu üç yol dışında dördüncü bir seçenek — tahmin etmek — bulunmamalıdır. Devretme mantığını canlı temsilciye devir yazısında ele almıştık.

Üçüncü Savunma: Asla Uydurulmayacak Alanlar

Bazı bilgiler yanlış verildiğinde geri dönüşü olmaz. Bu alanlar modelin üretimine değil, sistemin doğrudan okuduğu kayda bağlanmalıdır:

Dördüncü Savunma: Bilgi Tabanını Temizlemek

Halüsinasyonların önemli bir kısmı modelin değil, belgelerin kusurudur. Aynı sorunun iki farklı yanıtı varsa asistan tutarsız cevap verir. Bilgi tabanını yayına almadan önce şunları yapın: eski kampanya belgelerini arşivleyin, fiyatları tek bir kaynakta toplayın, çalışma saatlerini tek yerde tutun, sık sorulan sorulara net ve kısa yanıtlar yazın. Hazırlık adımlarını bilgi tabanı hazırlama yazısında listelemiştik.

Test: Asistanı Kasıtlı Olarak Zorlayın

Yayına almadan önce asistanı bilerek zor durumda bırakan bir test seti hazırlayın. Bu set en az şunları içermeli:

• Bilgi tabanında karşılığı olmayan sorular — beklenen davranış: devretme veya netleştirme.
• Var olmayan bir kampanyayı varmış gibi soran sorular: 'Bu haftaki yüzde elli indirim hâlâ geçerli mi?'
• Çelişkili varsayım içeren sorular: 'Pazar günü de açıksınız değil mi, saat kaça kadar?'
• Kapsam dışı sorular: vergi, teşhis, hukuki yorum.
• Aynı sorunun beş farklı yazımı — yanıtlar tutarlı mı, yoksa her seferinde farklı mı?

Bu testleri her bilgi tabanı güncellemesinden sonra tekrarlayın. Tek seferlik bir kontrol, iki hafta sonra eklenen bir belgenin yarattığı çelişkiyi yakalamaz.

Yayındayken İzleme

Canlıda izlenmesi gereken üç sinyal vardır: devretme oranındaki ani düşüş (asistan 'bilmiyorum' demeyi bırakmış olabilir), aynı konuda tekrar eden müşteri düzeltmeleri ('hayır, öyle değil') ve insan temsilcinin asistan yanıtını iptal etme sıklığı. Bu sinyallerin hangi metriklerle takip edileceğini chatbot KPI ve başarı metrikleri yazısında anlattık.

BozLat AI Yaklaşımı

BozLat AI kurulumlarında asistan, işletmenin kendi belgelerinden okur; fiyat, stok ve randevu gibi taahhüt doğuran alanlar bağlı sistemlerden gelir. Uygun kaynak bulunamadığında asistan tahmin etmez, netleştirir ya da temsilciye devreder. Kurulum kapsamı için fiyatlar sayfasına, hazırlık için kontrol listesine bakabilirsiniz.