Yapay zekâ halüsinasyonu nedir? Otel bilgilerinde uydurma yanıtları yakalamak

Yapay zekâ halüsinasyonu, arkasında hiçbir kaynak olmayan kendinden emin bir yanıttır: asistan, otelinizle ilgili kulağa çok makul gelen, ama hiçbir belgenin, fiyat listesinin veya kaydın desteklemediği bir cümle üretir. Bunun nedeni, bu sistemlerin bilgiye bakmak yerine olası metin üretmesidir. Çözüm, yalnızca yazılı bilgilerden yanıt verilmesi ve kaynağın gösterilmesidir; sorun azaltılır, tamamen ortadan kalkmaz.

Bir misafir, havuzun açık olup olmadığını sormak için 23.40'ta mesaj atıyor. Taslak yanıt sıcak, ayrıntılı ve tamamen yanlış: havuzun gece yarısına kadar açık olduğunu söylüyor. Kapıdaki tabela 19.00 diyor ve misafir çoktan havluya sarılmış durumda. Bu yazıyı okuduktan sonra bunun neden olduğunu açıklayabilecek, otelinizde nerede sorun çıkaracağını öngörebilecek ve çoğu uydurma yanıtı misafirden önce yakalayan kısa bir haftalık denetim rutini kurabileceksiniz.

Yapay zekâ halüsinasyonu sade bir dille nedir?#

Halüsinasyon, arkasında kaynak bulunmayan akıcı ve kendinden emin bir yanıttır. Asistan bir şey araştırmadı, bir bilgi bulmadı; konuşmayı en makul biçimde sürdürecek cümleyi üretti. Mekanizmayı derinlemesine merak ediyorsanız akıcı dil modellerinin neden her zaman doğru olmadığını anlatan yazıya bakın.

Akıcılık, doğrulukla aynı şey değildir#

Bu sistemler metni kelime kelime, sıradaki en olası kelimeyi seçerek üretir; fiyat listenizi okuyup alıntı yapmaz. Akıcı ve doğru iki ayrı özelliktir ve biri diğerini gerektirmez. Bir asistan günün büyük bölümünde doğru, tam da paranın veya güvenliğin bulunduğu noktada yanlış olabilir; çünkü yanlış yanıt çoğu zaman en ayrıntılı gelen yanıttır.

Burada bir niyet yoktur. Halüsinasyon yalan değildir ve onu dürüstlüksüzlük saymak otelleri yanlış çareye götürür: kaynak denetimi yerine suçlama. "Halüsinasyon" kelimesi algı dünyasından ödünç alınmıştır; orada olmayan bir şeyi görmenin bir adı vardır. Yazılımda anlamı basittir: dayanağı olmayan çıktı.

Halüsinasyon yalnızca sayılarla sınırlı değildir. Uydurulmuş olanaklar, personel adları, politikalar ve bir politikanın uydurulmuş gerekçeleri de buna dahildir. Çıkış saatinin neden 12.00 olduğunu açıklayan uydurma bir gerekçe, uydurma bir fiyat kadar halüsinasyondur.

Birbirine benzeyen üç ayrı arıza#

Düzeltmeye başlamadan önce birbirine benzeyen arızaları ayırın:

• Uydurulmuş bilgi: belgelerinizin hiçbir yerinde karşılığı yoktur.
• Bayat bilgi: geçen sezonun spa fiyat listesi gibi gerçek ama güncel olmayan bir belge.
• Aktarım hatası: doğru fiyatın yanlış alana kopyalanması ya da doğru fiyata yanlış oda tipinin bağlanması.

Her biri farklı bir düzeltme ister. Uydurma, bilginin yazılmasını; bayatlık, tarihli bir gözden geçirmeyi; aktarım hatası ise sistem denetimi gerektirir. Üçüne birden "yapay zekâ yalan söyledi" derseniz hiçbirini çözemezsiniz.

Halüsinasyon otelde hangi noktalarda sorun çıkarır? Dört örnek#

Misafirin oteli sözüne bağlayacağı her yerde ortaya çıkar: çalışma saatleri, iptal koşulları, transferler ve çocuk politikaları. Uydurulmuş bir ayrıntının şikâyete, iadeye veya güvenlik sorununa dönüştüğü dört kategori bunlardır. Her durumda misafir bir öneri okumaz; otelin kendi beyanı olduğuna inandığı, otelin kendi sesiyle yazılmış bir cümle okur.

Para kaybettiren dört kategori#

Aşağıdaki tablodaki örnekler öğretici kurgudur; hiçbiri yaşanmadı, yalnızca örüntüyü gösterir.

Maliyet yalnızca iade değildir. Resepsiyondaki tartışma, yorum sitesindeki değerlendirme ve ekipte kimsenin yazmadığı bir cümleyi savunmakla geçen personel zamanı da vardır. Bir asistanın üretebileceği en pahalı tek cümle, iade edilemeyen bir fiyatı ücretsiz iptal olarak tanımlamaktır; çünkü bir politika sorusunu tanığı olan bir para sorusuna dönüştürür.

Bilgiler eksik, eski ya da çelişkiliyken neden daha çok olur?#

Çünkü okuyacağı bilgi bulamayan bir asistan yine de bir cümle üretmek zorundadır ve en olası cümle, bir otel için normal kulağa gelen cümledir. Boşluklar doldurulur; eski ya da çelişen belgeler de seçilecek makul bir şey verir. Bunu önleyen temizlik çalışması yapay zekâ okumadan önce otel verisinin nasıl düzeltileceğinde anlatılıyor.

Boşluklar, çelişkiler ve bayat belgeler#

Boşluk bir davettir. Havuz saatleri asistanın okuyabileceği hiçbir belgede yoksa, asistan hiçbir şey söylemek yerine tipik havuz saatleri üretir. Yalnızca bir kişinin kafasında yaşayan bilgiler, yani bir resepsiyonistin ezbere bildiği gerçekler, asistana görünmezdir ve uydurulur.

Bayat bilgiler kendini haber vermez. Geçen kış tadilat için kapatılan havuz, yeniden açıldıktan uzun süre sonra metinde kalır; asistanın hangi belgenin güncel olduğu konusunda bir algısı yoktur. Uzun belgeler de ilgili satırı gömer: çocuk politikası bir PDF'in dokuzuncu sayfasındaysa, yanıt sayfadan çok örüntüden gelir.

Dil de önemlidir. Türkçe bilgi sayfası İngilizce olanından daha zayıfsa, Türkçe yanıtın uydurma payı daha büyüktür ve Türkçe okuyan misafir daha zayıf yanıtı alır. Her dili İngilizce yanıtla değil, aynı kaynak belgeyle karşılaştırın.

Bir otel asistanında halüsinasyonu gerçekte ne azaltır?#

Üç şey, bu sırayla: yalnızca otelin yazılı bilgilerinden yanıt vermek, yanıtın yanında kaynağı göstermek ve "bilmiyorum, bir meslektaşıma soracağım" yanıtını kabul edilebilir kılmak. Bunların hiçbiri sorunu ortadan kaldırmaz; birlikte küçültür ve kalanını görünür yapar.

Dayanak, kaynak ve reddetme hakkı#

Dayanak, asistanın otelin kendi belgelerini okuyup oradan yanıt vermesi demektir; otellerin genellikle ne yaptığı hakkındaki genel bilgiyle değil. Görünür kaynak, personelin hangi belgenin cümleyi ürettiğini görebilmesi demektir. Belge yoksa cümle de olmamalıdır.

Reddetme hakkı en az dayanak kadar önemlidir. Her zaman yanıt vermek zorunda olan bir asistan uydurur; bu yüzden açık bir devretme yolu verin ve devretmeyi başarısızlık değil başarı sayın. Kapsam sınırları da aynı ailedendir: vize kuralları, rakip fiyatları ve tıbbi öneri asistanın dayanağının dışındadır ve bunu söylemek tasarımın parçasıdır, zayıflık değil.

İki yapısal kural tabloyu tamamlar. Hassas her şeyde bir kişi onaylar: para, yasal koşullar, güvenlik ve şikâyetler gönderilmeden önce bir insana gider. Ve otel, tarihli ve sahipli tek bir resmî bilgi sayfası tutar: her bilgi onaylandığı tarihi ve onaylayan kişiyi taşır, kimse yenilemezse geçerliliğini yitirir. Son olarak, otellerin misafirlerin gerçekten sorduğu, o zor sorular dahil, sorularla test edin; otelin sorulmasını dilediği sorularla değil. Test rutininin kendisi yapay zekâ asistanı personel ya da misafir kullanmadan önce nasıl test edilir yazısında anlatılıyor.

Yapay zekâ taslaklarını ve otomatik yanıtları nasıl denetlersiniz?#

Rastgele değil, risk kategorisine göre denetleyin. Paraya, güvenliğe, yasal yükümlülüklere ve erişime dokunan yanıtları önce okuyun; uydurulmuş bir ayrıntının iadeye, olaya ya da şikâyete dönüştüğü yerler orasıdır.

Riskli kategorileri her hafta örnekleyin: fiyat ve ön ödeme (kapora), iptal ve iade, havuz ve plaj güvenliği, giriş ve kimlik kuralları, transfer ve otopark, evcil hayvan ve çocuk politikaları. Örneklenen her yanıt için tek bir soru sorun: bu cümlenin çıktığı belge nerede? Kimse gösteremiyorsa, yanıt tesadüfen doğru olsa bile uydurma sayın.

Taslağı, ne kastedildiğini bilen meslektaş gibi değil, sizi sözünüzle bağlayacak misafir gibi okuyun. Dilleri ayrı ayrı denetleyin; çünkü bir bilgi İngilizce'de doğru, Türkçe, Arapça, Rusça ya da Almanca'da yanlış olabilir ve misafir bunlardan yalnızca birini okur. Kendinden emin ama belirsiz örüntüye dikkat edin: ayrıntısız "evet, bunu ayarlayabiliriz" cümlesi çoğu zaman bir boşluğun üstünü örtmektir.

Haftalık on beş dakikalık gözden geçirme#

Bir düzeltme günlüğü tutun. Her düzeltme yalnızca konuşmada değil, bilgi sayfasında bitmeli; yoksa aynı yanlış yanıt gelecek ay geri döner. Bir kategori tekrarlayan hatalar üretiyorsa, o kategoriyi insan onayının arkasına taşıyın ve bunu toplantıda değil aracın ayarlarında belirtin.

Yanlış bir yanıt çoktan bir misafire ulaştı. Şimdi ne yapmalı?#

Önce misafiri düzeltin, sonra bilgiyi. Misafir elinde otelin sesiyle söylenmiş bir cümle tutuyordur ve hangi sistemin yazdığını tartışmak oteli kötü gösterir, yazılımı değil. Bir yanıtın en baştan bir insana ulaşması gerektiği devretme sorusu misafir mesajlarında yapay zekânın ne zaman personele devredileceğinde ele alınıyor.

Hızlı ve düz bir dille yanıtlayın: doğru durum nedir, otel ne yapacak ve ne zamana kadar. Lobide duran bir misafire teknolojiyi açıklamayın. Telafiyi yetkiniz içinde belirleyin; vaat büyükse doğaçlama yapmak yerine üst makama taşıyın.

Vaat edilen şeyi tam olarak yazın. Otel adına yapılan bir vaat, ekipte kimse yapmamış olsa bile yerine getirilmek zorunda kalınabilir. Ardından bilgi sayfasını aynı gün, tarih belirterek düzeltin ki aynı yanıt yarın yeniden üretilemesin.

Aynı yanlış yanıtın başka misafirlere gidip gitmediğini mesaj günlüğünde arayın. Tek bir halüsinasyon nadiren tek bir olaydır. Son olarak tüm ekibe haber verin, yalnızca yöneticiye değil; çünkü sıradaki misafir belgeyi düzelten kişiye değil resepsiyoniste soracaktır.

Şimdi ne yapmalı#

Bu hafta, misafirlerin en çok sorduğu on bilgiyi yazıya dökün; her birine tarih ve sorumlu verin ve "bilmiyorum, bir meslektaşıma soracağım" yanıtını her kanalda geçerli bir yanıt yapın. Halüsinasyon daha iyi bir modelle çözülmez; asistanın neyi okumasına izin verildiğini denetleyerek, her yanıtın nereden geldiğini göstererek ve riskli kategorileri misafirden önce kontrol ederek yönetilir.