Yapay zekâ neden aynı soruya farklı cevap veriyor? Tutarlılık ve güncel bilgi

Bir dil modeli, sıradaki metni tahmin ederek yazan bir programdır; saklı bir cevabı açmaz, her seferinde yenisini kurar. Bu yüzden ifade, kimi zaman da bilgiler değişir. Bilgisi bir eğitim tarihinde durur ve otelinizle bağlantı kurulmadan odalarınızı ya da fiyatlarınızı göremez.

Resepsiyon görevlisi aynı soruyu bir vardiya içinde iki kez soruyor ve iki farklı cümle alıyor. Ardından bu geceki müsaitliği soruyor ve tamamen yanlış, ama kendinden emin bir cevap alıyor. İki an da arıza değildir; ikisi de bu araçların çalışma biçiminden gelir. Bu yazı mekanizmayı düz bir dille anlatıyor, sonra pratiğe çeviriyor: hangi cevaplar şablon ister, hangileri canlı bağlantı ister, bir aracın altınızda değiştiğini nasıl fark edersiniz.

Yapay zekâ neden aynı soruya farklı cevap veriyor?#

Çünkü cevap her istekte yeniden yazılır; saklı bir sayfadan çekilmez. Araç sıradaki küçük metin parçasını tahmin eder, olası seçeneklerden birini seçer, sonra oradan yeniden tahmin eder.

Bir dil modeli, metni sıradakini tahmin ederek, küçük parçalar halinde üreten bir programdır. Bakacağı bir cevap anahtarı yoktur. Her adımda birkaç devam olasıdır; araç birini seçer ve sonraki her cümle o seçimin üzerine kurulur. İki çalışma bu yüzden farklı yollar izleyebilir: farklı bir açılış cümlesi, farklı bir sıralama, kimi zaman farklı bir sonuç.

Birçok asistan, seçim aralığını daraltan ya da genişleten, çoğunlukla "sıcaklık" (temperature) adı verilen bir rastgelelik ayarı sunar. Düşürmek cevapları birbirine benzetir; özdeş yapmaz ve doğru da yapmaz.

Yeni bir sohbet genelde boş başlar. Araç yalnızca geçerli konuşmada duranı ya da çevresindeki yazılımın kendisine ilettiğini hatırlar; yarın sorulan aynı soru bir devam değil, yeni bir kurmadır. Küçük ifade değişiklikleri de cevabın biçimini değiştirir: "bu gece odanız var mı" ile "bu akşam müsaitlik var mı" model için aynı soru değildir.

Bunların hiçbiri kusur değildir. Mekanizma budur ve genel bir asistanın taslak yazmada iyi, kayıt tutmada güvenilmez olmasının nedeni de budur. Modellerin metni nasıl ürettiğinin ayrıntısı için akıcı yanıtın neden her zaman doğru yanıt olmadığına bakın.

Farklı cevap ne zaman sorun, ne zaman sadece ifade farkı?#

Farklı ifade normaldir ve çoğu zaman yararlıdır. Sorun farklı bilgi vermesidir ve sınaması basittir: cevapta bir misafirin ya da muhasebenin sizi sorumlu tutabileceği bir şey var mı?

Parafraz ile kaymayı ayırın. Parafraz aynı şeyi yeni sözlerle söyler. Kayma başka bir şey söyler: başka bir sayı, başka bir tarih, başka bir politika, başka bir söz. Sayı, fiyat, tarih, isim, iptal koşulu, yasal beyan ya da misafire verilen bir söz içeren her şeyi bilgi sayın; bunların asistanın dışında bir kaynağı olmalıdır.

Taslak bir özür metnini, bir çeviriyi, sizin verdiğiniz bir metnin özetini ya da aynı iç notun üç ayrı söylenişini ise ifade sayın. Buradaki değişkenliğin bir maliyeti yoktur.

Pratik bir sınav: aynı soruyu üç kez sorun ve cümleleri değil bilgileri karşılaştırın. Gerçekler değişiyorsa o bilgi için aracı kullanmayı bırakın ve okuması gereken kaydı bulun. Kaynağını, bir belgeyi, bir kaydı ya da zaman damgasını adlandıran bir cevap saniyeler içinde denetlenebilir; hiçbir şey adlandırmayan bir cevap hiç denetlenemez.

Burada personelin gözü araç ayarlarından daha önemlidir. Oteli bilen kişi yanlış bir fiyatı tek bakışta görür ve gönderen kişi de o olmalıdır. İlgili başarısızlık biçimi için yapay zekânın bilgi uydurması ve bunu yakalamanın yollarına bakın.

Yapay zekâ bu gecenin fiyatlarını neden bilmiyor?#

Çünkü modelin bilgisi eğitim malzemesinin toplandığı tarihte biter ve bu sabah eğitilmiş bir model bile otel yönetim sisteminizi hiç görmemiştir. Güncel rakamlar canlı bir bağlantı ister.

Eğitim malzemesi bir anlık görüntüdür. Toplandıktan sonra olan her şey modelin bilgisinin dışındadır ve araç yine de, bildiği şeylerde kullandığı aynı kendinden emin tonda cevap verme eğilimindedir. Dünyayı bilmek otelinizi bilmek değildir: oda tipleriniz, kapalı odalarınız, grup bloklarınız, minimum konaklama kurallarınız ve bu gecenin gelmeyen misafirleri yalnızca kendi sisteminizde vardır.

Bağlantı, düz sözle, iki sistem arasındaki sabit bir kanaldır: asistan tanımlı bir soru sorar, sisteminiz kayıtla yanıt verir. Teknik adı çoğunlukla API'dir. Kanal tam olarak sorulan şeyi döndürmelidir: bir tarih aralığı için müsaitlik, bir oda tipi ve kişi sayısı için fiyat ve ona bağlı kurallar. Tarihi ve oda tipi olmayan genel bir cevap müsaitlik değildir.

Oda tutmak, rezervasyon yapmak değildir. Oda bulan bir asistan, kimse onaylamazsa süresi dolup odayı envantere geri veren kısa bir tutma yapmalıdır; yoksa satılabilir odaları sessizce bloke eder. Bağlantı yoksa tek dürüst cevap, güncel müsaitliğin görülemeyeceğidir. Bu durumda üretilen her sayı, ne kadar somut görünürse görünsün, uydurmadır. Orta yol olan kendi belgelerinizi asisana verme yaklaşımı için kendi belgelerinizden yanıt alma yöntemine bakın.

Aynı araç bir güncellemeden sonra neden farklı davranıyor?#

Çünkü arayüzün arkasındaki model zaman zaman değiştirilir ve arayüz bunu nadiren duyurur. Aynı giriş, aynı komut, farklı davranış.

Sağlayıcılar genel performansı iyileştirmek için modelleri yeniden eğitir ve değiştirir. Sizin belirli göreviniz, güncellemenin ölçüldüğü şey değildir. Bir güncelleme akıl yürütmeyi iyileştirip de sizin dayandığınız küçük bir şeyi bozabilir: bir biçimi, bir ifadeyi, eskiden attığı bir adımı, netleştirici soru sorma biçimini.

Hangi sürümü alacağınızı genelde siz seçmezsiniz ve bir değişiklik bildirimi garanti değildir. Tesadüfen keşfettiğiniz davranış, belgelenmemiş davranıştır; özellik değildir. Önemli komutları, beklediğiniz cevapla birlikte yazılı tutun ki değişiklik hissedilen değil görünen bir şey olsun. Kendi resepsiyonunuzdan on ile yirmi gerçek soru başlangıç için yeterlidir.

Sınama setini küçük ve sıkıcı tutun: gerçek sorular, beklenen cevaplar, belirgin bir değişiklikten sonra çalıştırmakla görevli tek bir kişi. Model seçimi ayrı bir karardır: bazı araçlarda sürüm sabitlenebilir, bazılarında olmaz ve bu fark komutta değil sözleşme görüşmesinde yer alır. Bu konudaki ödünleşmeler için açık ve kapalı modeller ile otelin neyi kontrol edebildiğine bakın.

Uygulamada: önemli yerlerde yapay zekâ cevaplarını nasıl kararlı tutarsınız?#

Risk taşıyan ifadeleri sabitleyin, her bilgi için kaynak ve tarih isteyin, güncellemeden sonra yeniden sınayın. Kararlılık aracın kendisinden değil, aracın çevresindeki süreçten gelir.

Sonucu olan her şey için boşluklu şablonlar kullanın: rezervasyon onayları, iptal koşulları, şikâyet yanıtları, ödeme hatırlatmaları. Boşlukları asistan doldurur; cümleler sizindir. Her rakamda kaynağı ve zamanı isteyin: kaydı ve okunma saati olmayan bir fiyat, önüne para birimi simgesi konmuş bir tahmindir.

Taslak yazmayı göndermekten ayırın. Asistan taslağı yazar, bir kişi gönderir; çünkü misafire iletilmiş bir mesaj geri alınamaz. Kısa bir yeniden sınama listesi ve adı konmuş bir sorumlu tutun; belirgin bir davranış değişikliğinden sonra, vardiya araca yeniden güvenmeden önce listeyi çalıştırsın. Fark ettiğiniz her davranış değişikliğinin tarihini kaydedin ki sonraki bir şikâyet belirsiz bir hisse değil bir ana izlenebilsin.

Listeyi yıllık değil haftalık gözden geçirin: komutlar kayar, personel yeni kısayollar icat eder, misafirlerin sorduğu sorular mevsimle değişir. Daha kapsamlı bir rutin için yapay zekâ asistanı devreye alındıktan sonraki haftalık izleme listesine bakın.

Bir satıcıya sürümler ve değişiklik bildirimleri hakkında ne sormalısınız?#

Aracı neyin çalıştırdığını, ne zaman değiştiğini ve size nasıl bildirileceğini sorun. Hiçbir satıcı özdeş cevaplar vaat edemez; işe yarar vaatler bildirim, izlenebilirlik ve sınama imkânıdır.

Sorular kısadır. Araç bugün hangi model ya da sürümü kullanıyor ve bu değiştiğinde bize yazılı bildirecek misiniz? Sürüm sabitleyebilir miyiz, ne kadar süreyle? Sabitlenemiyorsa, değişiklik öncesi bildirim süresi ne? Bilgi nerede bitiyor ve güncel veri nasıl veriliyor: sistemimize bağlantı mı, yüklenen dosya mı, hiç mi?

Ardından iddiaları sınayın. Asistan fiyat ya da müsaitlik söylediğinde, okuduğu kaydı ve okuma zamanını gösterebiliyor mu? Temeldeki modeli güncellediğinizde şablonlarımıza ve kayıtlı komutlarımıza ne oluyor? Bir değişiklik günlüğü var mı ve davranış bir gecede değiştiğinde kimi arayacağız?

Her seferinde aynı çıktı vaat eden her cevaba kuşkuyla yaklaşın. Dürüst cevap benzerlikten değil, bildirimden ve denetlemeden söz eder.

Şimdi ne yapmalı#

Ekibinizin bir yapay zekâ aracına en sık sorduğu üç soruyu seçin, her birini üç kez sorun ve bilgilerin mi yoksa yalnızca sözlerin mü değiştiğini not edin. Bu tek alıştırma size hangi cevapların şablon, hangilerinin otel sisteminize canlı bağlantı, hangilerinin taslak olarak bırakılması gerektiğini gösterir. Gerisi aynı fikirden gelir: araç kurar, o yüzden gerçekleri ve denetimleri otel sağlar.