Büyük dil modeli nedir? Akıcı yanıt neden her zaman doğru yanıt değildir

Büyük dil modeli, çok geniş bir metin kümesinden oluşturulan ve dili, sırada neyin geleceğini tahmin ederek üreten bir programdır. Yazılım sorunun yanına kayıtlarınızı eklemedikçe oteliniz hakkında hiçbir şey bilmez. Akıcı çıktı mekanizmanın bir özelliğidir; bir şeyin doğrulandığının kanıtı değildir.

Örneğin bir satıcı tanıtımı düşünün: asistan, bu akşamki müsaitlikle ilgili bir soruya akıcı cümlelerle, bir oda tipi ve bir fiyatla yanıt veriyor. Dilde tek kusur yok. Sunduğu oda ise sabah satılmış. Bu yazının sonunda büyük dil modeli nedir sorusunu bir yönetim toplantısında tekrarlayabileceğiniz kelimelerle tanımlayabilecek ve her tanıtımda gerçek bir otel asistanını akıcı olandan ayıran üç denetimi yapabileceksiniz.

Büyük dil modeli nedir, tek paragrafta?#

Büyük dil modeli, çok geniş bir metin kümesinden oluşturulan ve dili, sırada ne gelmesi gerektiğini küçük parçalar hâlinde tahmin ederek üreten bir programdır.

Önce inşa aşaması gelir. Çok geniş bir metin kümesi toplanır ve program, tahminleri bu metne iyi oturana dek ayarlanır. Bu, herhangi bir otel onu kullanmadan önce gerçekleşir ve sizin tesisiniz için tekrarlanmaz. Kullanım anında ona metin verirsiniz: bir soru, bir yönerge, bazı kayıtlar. O bu metni sürdürür. Mekanizmanın tamamı budur.

İnsanın anlamı ele alışı gibi değil; anlamla değil, kelime parçalarıyla çalışır. Odalarınızın tablosu yoktur; yanıtlamadan önce danıştığı bir olgu listesi de yoktur. Bir motora benzetin: genel ve hızlıdır, ama direksiyonu kullanmaz, varış noktasını bilmez, haritayı kontrol etmez. Onu saran araç, yani arayüz, veri erişimi, kurallar ve yetkiler, gerçekte ne olacağına karar verir.

Bir otel için bu şunun yüzünden önemli: model zincirdeki tek bir halkadır. Doğruluk diğer halkalarda kazanılır ya da kaybedilir: hangi kayıtlar çekildi, hangi kurallar uygulandı, işlemi kim onayladı. Model yalnızca bir sohbet penceresinin arkasında değil, bir sesli arayüzün ya da bir iş ortağı sisteminin arkasında da oturabilir. Arayüz, yığının en az ilginç parçasıdır.

Model sohbet penceresinin neresinde durur?#

Personelinizin yazdığı pencere bir yüzeydir, beyin değil. Pencerenin arkasında model, modelin çevresinde kayıtları çeken, kuralları uygulayan, yetkileri denetleyen ve olan biteni kayda geçiren yazılım durur. Yalnızca pencereyi gösteren bir tanıtım, size en önemsiz parçayı gösteriyor demektir. Pencere ile verinizin arasındaki katmanı sorun.

Büyük dil modeli ile sohbet botu aynı şey midir?#

Değildir. Sohbet botu, kişinin yazdığı penceredir. Dil modeli bu pencerenin arkasındaki olası motorlardan biridir; birçok sohbet botuysa hiç dil modeli olmadan sabit kurallarla çalışır.

Kural tabanlı sohbet botu bir karar ağacını izler. Öngörülebilir ve dardır; ağacın dışındaki hiçbir soruya yanıt veremez. Kendi cümlesini hiç yazmadığı için fiyat da uydurmaz. Tek başına bir dil modeli ise serbest ifadeyi iyi karşılar, ama sisteminize erişimi ve bir şeyi değiştirme yetkisi yoktur.

Otel asistanı ikisinin birleşimidir: bir model, otelin kayıtları, otelin kuralları, bir yetki katmanı ve hassas adımlarda bir kişinin onayı. Satıcı sunumundaki "yapay zekâ" kelimesi bu üçünden herhangi birini kastedebilir. Demoyu değerlendirmeden önce hangisinin gösterildiğini sorun. Bir asistanı konuşma ne kadar insancıl hissettiriyor diye değil, neye bakabiliyor ve ne yapmaya yetkili diye değerlendirin. Boş bir veritabanının üstündeki akıcı sohbet penceresi, doğru bir veritabanının üstündeki yalın bir menüden daha kötü üründür.

Bu ürünlerin çevresindeki sözlük için yapay zekâ ajanı, asistan ve sohbet botu: otelciler için sözlük yazısına bakabilirsiniz.

Dil modeli oteliniz hakkında ne bilir?#

Hiçbir şey, yazılım sorunun yanına kayıtlarınızı eklemedikçe.

Model genel metinden oluşturuldu. Oda tipleriniz, fiyat kurallarınız, iptal politikanız ve bu akşamki doluluğunuz o metinde yoktu. Genel bilgisinin bir ufku vardır: oluşturulduğu metin bir noktada biter ve model dün ne değiştiğini bilmez; bir saat önce kendi sisteminizde ne değiştiği dahil.

Model, oluşturulduğu şey ile tahmin ettiği şey arasındaki farkı ayırt edemez. İkisi de aynı sakin tonda gelir; bir sonraki bölümün önemi bu yüzdendir. Aynı model iki ayrı otelde farklı yanıtlar verir, çünkü çevresindeki kayıtlar farklıdır. Otelin gerçeğinin kaynağı model değil, otelin sistemidir.

Asistanın tesisinizle ilgili söylediği her şey, açabileceğiniz bir kaynağa dayanmalıdır: bir rezervasyon, bir fiyat kuralı, bir hesap satırı. Her tanıtımda işe yarayan bir denetim: yanıtın nereden geldiğini sorun. Ciddi bir asistan kullandığı kaydı ya da sayıyı gösterir. Zayıf olan cümleyi daha kendinden emin biçimde tekrarlar.

Otelinizin verisi modele nasıl ulaşır?#

Modeli saran yazılım sorunu bir araya getirir: yönergeniz, ilgili otel kayıtları ve kurallar, birlikte metin olarak gönderilir.

Model konuşmadan önce bir arama adımı vardır. Sistem rezervasyonu, fiyat kuralını ya da hesap satırını bulur, sonra sorunun ihtiyacı olanı içine koyar. Neyin dahil edilebileceğine yetkiler karar verir. Resepsiyon sorusu ile finans sorusu aynı kayıtları çekmemeli; misafire dönük bir asistan iç notları görmemelidir.

Model, yazılım konuşmayı saklayıp yeniden göndermedikçe, sorular arasında otelinizi hatırlamaz. Hafıza motorun bir özelliği değil, ürün kararıdır. Misafir adları, kimlik bilgileri ve hesaplar, KVKK (kişisel verilerin korunması kanunu) kapsamında kişisel veridir. Ne gönderildiği, kime ve hangi sözleşmeyle gönderildiği satıcıya sorulacak bir sorudur; kendi yükümlülüklerinizi bir hukuk danışmanıyla netleştirmelisiniz.

Somut bir örnek: "bu akşam ne müsait" sorusu misafir listesini değil, oda envanterini ve fiyat kurallarını çekmelidir. Akış bu denli dar tanımlanamıyorsa sebebini sorun. Akışı bir şema değil düz kelimelerle isteyin: hangi kayıtlar, hangi anda, hangi sisteme, ne kadar süre saklanarak.

Akıcı yanıt neden doğru yanıt değildir?#

Çünkü akıcılık mekanizmanın ürettiği şeydir; bir şeyin denetlendiğinin işareti değildir.

Model olası bir devamı seçer. Olası ile doğru farklı özelliklerdir ve mekanizmanın iyileştirmeye çalıştığı yalnızca biridir. Halüsinasyonu düz kelimelerle anlatmak gerekirse: kayıtlarda yanıt yoksa model boşluğu, örüntüye uyan bir şeyle doldurur; bir fiyat, bir politika, bir tarih, bir oda numarası.

İşaretler somuttur: sahip olmadığınız bir politika, tuhaf biçimde kesin bir sayı, asistanın göremediği bir sistemle ilgili kendinden emin bir yanıt. Ucuz bir deneme: yanıtını bildiğiniz bir soru ile yanıtını kimsenin bilmediği bir soru sorun. İkisi de aynı kararlılıkla gelirse, ton hiçbir bilgi taşımıyordur.

Riski azaltan daha iyi bir yazım tarzı değildir. Otelin kayıtlarına dayanmak, kaydı göstermek, kayıt yokken yanıttan kaçınmak ve hassas her adımda bir kişinin onayıdır. Her işlemin bir güvenlik seviyesinde oturup oturmadığını sorun: rutin sorgulamalar doğrudan çalışır, değişiklikler tek onay ister, en hassas olanlar iki onay. Sözü değil, listeyi isteyin.

Sorunun daha derin nedenleri ve uydurma yanıtları yakalama yolları için yapay zekâ halüsinasyonu nedir? Otel bilgilerinde uydurma yanıtları yakalamak yazısına bakabilirsiniz.

Asistanın arkasındaki model değişince ne olur?#

Yanıtları değişebilir; ayarlarınıza kimse dokunmadan, zaten onayladığınız yanıtlar dahil.

Sağlayıcılar modelleri güncelleyebilir, değiştirebilir ve emekliye ayırabilir. Bir satıcı maliyet ya da kalite nedeniyle, kimi zaman sessizce, başka bir modele geçebilir. Bir değişiklik ortalamayı iyileştirebilir ve yine de resepsiyonunuzun her sabah sorduğu o tek soruyu bozabilir. Ortalamalar, bir otelin tam olarak fark edeceği hataları gizler.

Savunma sabit bir test setidir: örneğin, doğru yanıtlarını bildiğiniz, otelinize ait yirmi gerçek soru; canlıya geçmeden önce ve her değişiklikten sonra çalıştırılır. Hangi model sürümünün hangi yanıtı ürettiğini kayda geçirin. Bu olmadan davranıştaki bir değişiklik hiçbir şeye bağlanamaz. Modelleri değiştirme özgürlüğü ancak biri testleri yeniden çalıştırıyorsa bir avantajdır; yeniden test edilmeyen modelden bağımsız tasarım, yalnızca başka türden bir risktir. Bir model değişikliğini kimin onayladığını ve otelin bunu önceden mi sonradan mı duyduğunu sorun.

Bu katmanı biz de aynı mantıkla ele alıyoruz. AI Otel'in mimarisi belirli bir modele bağlı değil; her kurulum için model ölçerek seçilecek biçimde geliştirildi ve bu seçimi desteklemek üzere kurulan 30 vakalık test seti henüz çalıştırılmadı. Eğitilmiş bir modelimiz yok; bunu açıkça söylüyoruz.

Böyle bir değerlendirmenin nasıl tasarlandığını görmek için yapay zekâ modeli seçimi: AI Otel neden önce ölçecek? yazısına bakabilirsiniz.

"Kendi modelimiz" diyen bir satıcıya ne sormalısınız?#

Dört şeyden hangisini kastettiğini sorun; çünkü ifade dördünü de kapsıyor.

Dört anlam şunlar: bir modeli sıfırdan kurup eğittiler; bir başkasının modelini bir sözleşmeyle kullanıyorlar; bir modelin çevresindeki katmanı, yani veri erişimi, kurallar, yetkiler ve inceleme süreçlerini kurdular; ya da bir asistan ürünü geliştirdiler ve model onun içinde bir ayrıntı. Yalnızca ilki bir model iddiasıdır ve en çok kanıt ister: neyle kuruldu, neyle sınandı, çıktıyı kim denetliyor, yanlış olduğunda ne oluyor.

Diğer üçünde yararlı sorular motoru değil katmanı ilgilendirir: hangi kayıtlar çekiliyor, hangi işlemlere izin var, kim onaylıyor, ne kayda geçiyor, ne geri alınabiliyor. Modelin adını söyleyemeyen bir satıcı otomatik olarak hatalı değildir; ama iddiayı değerlendiremez ve yeniden test planı yapamazsınız. Bu konuşma yapılmadan fiyat karşılaştırmak, broşür karşılaştırmaktır. Yanıtları yazılı tutun: bir sonraki yenilemede aynı sorular, bir şeyin değişip değişmediğini gösterecektir.

Daha kapsamlı bir alıcı denetim listesi için otel için yapay zekâ yazılımı seçerken sağlayıcıya sorulacak sorular yazısına bakabilirsiniz.

Bir sonraki tanıtım öncesi yapılacak iş#

Otelinizle ilgili, yanıtlarını bildiğiniz on soruyu yazın. Bunları asistana sorun ve her yanıtın arkasındaki kaydı isteyin. Ardından yanıtı hangi modelin verdiğini, nasıl seçildiğini ve değiştiğinde nasıl yeniden sınanacağını sorun. Model motordur, kayıtlarınız ona uzatılan şeydir, akıcılık hiçbir şey kanıtlamaz ve motorun değişmesi yeniden test etmek için bir sebeptir. Bu katmanı nasıl ele aldığımızı görmek isterseniz görüşme talep edebilirsiniz.