Sohbet botları nasıl çalışır ve nerede yanılır

Cevap nasıl üretiliyor

Model, çok büyük miktarda metin üzerinde tek bir işi öğrenmiştir: verilen bir metin parçasından sonra hangi kelimenin gelmesinin muhtemel olduğunu kestirmek. Cevabı tek seferde değil, kelime kelime kurar.

Bu yüzden aynı soruya iki kez farklı cevap verebilir. Bir yanlışlık değil, çalışma biçiminin doğal sonucudur.

Pratik sonucu şu: bir cevaptan memnun değilseniz soruyu biraz değiştirip yeniden sormak çoğu zaman işe yarar ve bu hiç de tuhaf bir davranış değildir.

Neden emin görünüyor

Model, bir cevabı ne kadar bildiğini ölçmez. Ürettiği metnin akıcı ve kararlı görünmesi, doğruluğu hakkında hiçbir şey söylemez.

Bu, insanlarla kurduğumuz sezgiye ters düşer: bir insan emin konuşuyorsa genellikle konuyu biliyordur. Burada o bağ yok.

Bazı araçlar “emin değilim” demeyi öğrenmiştir, ama bu da güvenilir bir ölçü değildir. Doğrulama işini kullanıcı yapar.

Uydurulmuş bilgi

Model, olmayan bir kitabı, olmayan bir yasayı veya çalışmayan bir bağlantıyı gerçek gibi üretebilir. Bu davranış literatürde ayrı bir isimle anılacak kadar yaygındır.

En sık göründüğü yerler: kaynak listeleri, tarihler, kişi isimleri, sayısal veriler ve mevzuat maddeleri.

Korunma yolu tek: bu tür bilgiler geçtiğinde arama motoruna gidip aynı bilgiyi bağımsız olarak aramak. Bir dakikalık iş, büyük bir hatayı önler.

İyi soru nasıl sorulur

Kısa ve genel sorular kısa ve genel cevaplar getirir. Bağlam eklemek en etkili tek iyileştirmedir: kime yazıyorsunuz, ne uzunlukta olsun, hangi tonda olsun.

“Bir dilekçe yaz” yerine “apartman yöneticisine, kibar bir dille, yarım sayfayı geçmeyen, su sızıntısı hakkında bir dilekçe yaz” demek sonucu belirgin biçimde değiştirir.

Cevap uzun geldiyse “üç maddede özetle”, ağır geldiyse “daha basit anlat” demek yeterlidir. Konuşmayı sürdürmek yeni baştan sormaktan daha verimlidir.

Neyi iyi yapar

Metni yeniden yazmak, kısaltmak, tonunu değiştirmek. Bir e-postayı daha resmi veya daha yumuşak hale getirmek bu araçların en güçlü olduğu iş.

Çeviri ve anlama. Yabancı dildeki bir belgeyi anlaşılır Türkçeye çevirmek, uzun bir metnin ne dediğini birkaç maddede söylemek.

Fikir üretmek. Bir konuşma için başlıklar, bir hediye için seçenekler, bir metin için farklı başlangıçlar. Burada doğruluk sorunu da küçülür, çünkü seçimi siz yaparsınız.

Neyi yapamaz

Sizin hesabınıza, belgenize veya sağlık kaydınıza bakamaz. Onlar hakkında söyledikleri genel tahminden ibarettir.

Güncel olayları takip edemez. Bilgisi belirli bir tarihte durur; bazı araçlar internete bakabilir, ama bu her zaman açık değildir.

Hukuki, tıbbi ve mali kararlarınızı veremez. Bu alanlarda üretilen metin bir uzmanla konuşmanın yerini tutmaz.

Konuşmayı sürdürmek

Bu araçlarla çalışmanın en verimli yolu tek bir mükemmel soru yazmaya çalışmak değil, konuşmayı sürdürmektir. İlk cevap bir taslaktır; asıl sonuç ikinci ve üçüncü turda çıkar.

“Bunu yarı uzunlukta yaz”, “daha resmî olsun”, “ilk maddeyi aç” gibi kısa yönlendirmeler beklenenden çok daha etkilidir. Her seferinde baştan anlatmak gerekmez, çünkü araç konuşmanın önceki kısmını hatırlar.

Ancak bu hafızanın bir sınırı vardır. Çok uzun konuşmalarda başta söylediğiniz şeyler kapsam dışında kalabilir; cevaplar konudan uzaklaşmaya başladıysa yeni bir konuşma açmak en pratik çözümdür.

Konuyu değiştireceğiniz zaman da yeni konuşma açmak iyi bir alışkanlık. Aksi hâlde araç önceki konunun tonunu ve varsayımlarını yenisine taşıyabilir.

Aynı işi iki araca yaptırmak

Önemli bir metinde basit ama güçlü bir kontrol yöntemi var: aynı soruyu iki farklı araca sormak. Cevaplar birbirini tutuyorsa güven artar; ayrılıyorsa tam da orada durup bakmak gerekir.

Bu yöntem özellikle tarih, rakam ve mevzuat gibi kesin bilgilerde işe yarar. İki bağımsız kaynağın aynı hatayı yapma ihtimali, tek kaynağın hata yapma ihtimalinden düşüktür.

Aynı mantıkla, bir metni bir araca yazdırıp diğerine kontrol ettirmek de mümkündür: “bu metinde yanlış veya doğrulanması gereken bir iddia var mı?” sorusu çoğu zaman işe yarar bir liste getirir.

Bu yazının kapsamı dışında

Belirli bir uygulamanın adım adım kullanımı.

Ücretli sürümlerin karşılaştırması.

Modellerin teknik mimarisi.