Sağlayıcı modeli değiştirdi: otel yapay zekâ asistanını yeniden nasıl test eder?

Yeniden test, bilinen doğru yanıtlara sahip sabit bir soru setini, dondurulmuş veri üzerinde, model değişikliğinden önce ve sonra çalıştırmak ve her yanıtı doğru, yanlış ya da güvensiz olarak puanlamaktır. Modelin kendisini test edemezsiniz; otelinizin bağımlı olduğu yanıtları test eder, önceden belirlediğiniz eşiği aşarsanız geri döner ya da işlemleri kısıtlarsınız. Bu, yapay zekâ model değişikliği sonrası yeniden test rutininin özüdür.

Örneğin: otelde hiçbir şey değişmedi, ama geçen ay geç çıkışın 14:00'e kadar ücretsiz olduğunu söyleyen asistan artık 13:00 ve ücretli diyor. Sağlayıcı arkasındaki modeli değiştirdi, resepsiyondaki kimseye haber verilmedi ve bunu fark eden ilk kişi resepsiyon bankosunun önündeki bir misafir oldu. Bu yazı, aynı durumu misafirden önce yakalayan rutini veriyor: küçük bir sabit soru seti, bir puanlama kuralı, önceden kararlaştırılmış bir geri dönüş eşiği ve sağlayıcınıza yazılı olarak ileteceğiniz sorular. İlk sürümü bir haftada kurabilirsiniz.

Sağlayıcı modeli değiştirdiğinde yanıtlar neden değişir?#

Çünkü asistan, sağlayıcının çalıştırdığı bir modelin etrafına sarılmış bir kabuktur ve sağlayıcı o modeli kendi takvimine göre değiştirebilir. Otel asistanı satın alır; içindeki motorun sahibi değildir.

Aynı anda üç şey değişebilir: modelin kendisi, sağlayıcının etrafına sardığı yönergeler ve asistanın erişebildiği araçlar ile veriler. Bunlardan yalnızca üçüncüsü otelin denetimindedir. Değişiklik otomatik olarak kötü değildir; bildirdiğiniz bir sorunu çözmüş olabilir. Yeniden test etmenin amacı yeni modelin kötü olduğunu kanıtlamak değil, otelinizin bağımlı olduğu yanıtların geçerli kalıp kalmadığını öğrenmektir.

Kayma, sıradan resepsiyon durumlarında ortaya çıkar: yürürlükten kalkmış bir politikadan alıntılanan bir ücret, sezon için kapalı bir tesisin varmış gibi anlatılması, artık o işle ilgilenmeyen bir kişiye yönlendirilen bir talep, asistanın eskiden yardım ettiği yerde bir reddetme. Arıza sessizdir. Hiçbir şey hata vermez, hiçbir ekran kırmızıya dönmez, asistan kendinden emin cümleler yazmaya devam eder. Tek güvenilir dedektör, bilinen bir sorunun bilinen bir yanıtla karşılaştırılmasıdır.

Otelin test edebildiği ve yalnızca sağlayıcının bildiği#

Otelin görebildiği: yanıt metni, yapılan işlem ve kullanılan veri. Yalnızca sağlayıcının görebildiği: hangi model sürümünün çalıştığı, kabukta neyin değiştiği ve yayına almadan önce sağlayıcının neleri test ettiği. Bu yüzden otelin testi bir çıktı testidir: sorularınızı çalıştırın, doğru olduğunu bildiğinizle karşılaştırın. Aynı mantık, modeli en baştan seçerken de geçerlidir; bu yüzden ölçerek model seçme yaklaşımını ayrıca anlattık.

Her model değişikliğini iyi ya da kötü haber olarak değil, fiyatlanmamış bir risk olarak ele alın ve kendi sorularınızla yaptığınız bir çalıştırmayla fiyatlayın.

Otelin sabit soru setinde neler olmalı?#

Gerçek resepsiyon durumlarından alınmış yirmi ile kırk arası soru; her biri belirtilmiş bir tarihte doğru olan yanıtla, her seferinde aynı biçimde, dondurulmuş veri üzerinde çalıştırılır. Araç bundan ibarettir.

Soruları resepsiyondan alın, ürün tanıtımından değil: geç çıkış ve ücreti, kahvaltı saatleri, adı geçen bir fiyat için iptal koşulları, evcil hayvan ve çocuk politikası, havaalanı transferi, fatura talebi, girişte kimlik, havuz sezonu, oda değişikliği, adı geçen bir oda tipi için iki gecelik fiyat. Her sorunun sorulduğu anda tek bir doğru yanıtı olmalı ve otelin kendi verisinden yanıtlanabilir olmalı. İki yanıt da savunulabilirse o bir tartışma konusudur, test sorusu değildir.

Reddetme sorularını da ekleyin: tıbbi bir soru, politika dışı bir iade, başka bir misafirin oda numarası talebi, otelin sunmadığı bir indirim. Doğru yanıt bir reddetme ya da bir kişiye devirdir. Reddetmeler de yanıttır ve en az bilgiler kadar kolay bozulurlar.

Girdileri dondurun: aynı tarih aralığı, aynı fiyat kodları, aynı politika metni, aynı dil. Aksi halde takvimi test etmiş olursunuz, asistanı değil. Beklenen yanıtı olgu olarak yazın, birebir eşlenecek bir cümle olarak değil: geç çıkış 14:00'e kadar, belirtilen ücretle; asistanın kelimesi kelimesine tekrarlayacağı bir cümle değil. Seti tek bir kişinin yaklaşık bir saatte çalıştırabileceği kadar küçük tutun. Bir gün süren set ertelenir ve ertelenen set kimseyi korumaz. Seti sıfırdan kuruyorsanız, yapay zekâ asistanını devreye almadan önce test etme rehberinden başlayın.

Bir yanıt nasıl puanlanır: doğru, yanlış ya da güvensiz?#

Yalnızca üç hüküm kullanın: doğru, yanlış ve güvensiz. Daha fazla kategori, aynı yanıtı iki kişinin farklı puanlamasına yol açar ve üzerinde anlaşılamayan bir puan hiçbir şeyi tetikleyemez.

Doğru, yanıtın beklenen olguya uyması ve işlem beklendiyse yapılan işlemin beklenen olmasıdır. Yanlış, olgunun sapması, yanıtın belirsiz olması ya da zararsız bir şey uydurmasıdır. Bu bir kalite sorunudur ve normal takvimde çözülür.

Güvensiz, para, hukuk ya da güvenlik demektir: politika dışı bir iade sözü verdi, sistemde olmayan bir fiyat söyledi, misafire kimlik gerekmediğini söyledi, geri çekilemeyecek bir mesaj gönderdi ya da otelin kendisine belirlediği güvenlik seviyesinin dışında bir işlem yaptı. Güvensiz bir kalite sorunu değildir; bir durdurmadır.

Mümkünse kör puanlayın: iki kişi, ya da hangi çalıştırmadan geldiğini bilmeyen tek bir kişi. Aksi halde puanlayan kişi, kazanmasını beklediği sürümü savunmaya başlar. Yanıtın tam metnini ve tarihi kaydedin, özetini değil. Sonradan gösteremediğiniz bir çalıştırma bir kayıt değil, bir görüştür. Dördüncü bir gözlemi ayrıca not edin: değişti ama doğru. Sözcük kayması, misafire bakan ton ve personelin okuduğuna hâlâ güvenip güvenmediği açısından önemlidir.

Geri dönüş eşiğiniz ne ve kim imzalıyor?#

Eşiği ve adları çalıştırmadan önce yazın. Tek bir güvensiz yanıt, düzeltilene kadar o işlemi durdurur; bir çalıştırmadaki belirli sayıda yanlış yanıt, geri dönüş ya da yalnızca yanıtlarla kısıtlama tetikler.

İki eşiği ayırın: güvensiz bir durdurmadır, yanlış bir orandır. Örneğin, bir güvensiz yanıt o işlemi durdurur; yirmi soruda ikiden fazla yanlış, bir kısıtlama ya da geri dönüş tetikler. Bunlar örnek rakamlardır; önemli olan, onları önceden seçip yazılı hale getirmenizdir.

Geri dönüş yalnızca sağlayıcı önceki sürümü erişilebilir tutuyorsa ve otel geri dönebiliyorsa vardır. İhtiyaç duymadan önce sorun ve geri dönüş geçişini bir kez deneyin ki ilk denemeniz bir olayın ortasında olmasın. Bir kademeli düşüş merdiveni tanımlayın ve hangi eşik sizi hangi basamağa koyar: tam işlemler, yalnızca yanıtlar, yalnızca personel, kapalı.

İki kişi adlandırın: biri operasyonel, örneğin ön büro müdürü ya da bilişim; biri sorumlu, örneğin genel müdür ya da gelir yöneticisi; para, hukuki yükümlülük ya da misafir mesajlarına dokunan her şey için. Adlar ve tarih çalıştırma kaydına girsin. Bir işlem kısıtlanırken resepsiyona neyin değiştiğini ve o arada ne yapılacağını söyleyin. Sessizce kapatılan bir asistan, resepsiyonda kendi olaylarını yaratır.

Kararı çalıştırmanın yanında tutun ki bir sonraki değişiklik, hafızaya değil yazılı bir standarta göre yargılansın.

Sağlayıcıdan yazılı olarak ne istemelisiniz?#

Asistanınızı etkileyen bir değişiklikten önce haber, önceki ve sonraki sürümün tanımlayıcısı ve belirtilmiş bir süre tanımıyla geri dönüş yolu isteyin. Yanıtları e-posta zincirine değil, sözleşme ekine koyun.

Haber, asistanınızı etkileyen her değişiklik için önceden uyarı demektir; sonradan yayımlanan bir sürüm notu değil. Tanımlayıcı, bugün kullanılan ve yerine gelecek sürümün kimliğidir; böylece bir çalıştırma tarihe değil sürüme bağlanabilir. Değişiklik günlüğünde tarifi alamazsınız; ama modelde, yönergelerde, araçlarda ve veri kaynaklarında neyin değiştiğini sorabilirsiniz.

Kanıt isteyin: sağlayıcının kendi değerlendirme özeti ve sizin soru kategorilerinizin o değerlendirmede olup olmadığı. Kontrol isteyin: eski sürümün ne kadar süre erişilebilir kalacağı, bir sürümü sabitleme seçeneği. İletişim isteyin: başarısız bir çalıştırma için adı geçen bir kişi ve yanıt süresi. Satın alma öncesi soruların tam listesi için yapay zekâ yazılımı sağlayıcısına sorulacak sorular yazısına bakın.

Sağlayıcı haber ya da sürüm sabitleme veremiyorsa, kontrolünüz kendi sabit takviminiz artı işlemleri kapatabilme yeteneğinizdir; ve bunu içeride açıkça söyleyin, sahip olmadığınız bir korumayı varsaymayın.

Set ne zaman yeniden çalıştırılır ve güncel nasıl tutulur?#

Her sağlayıcı bildiriminde, her otel fiyat ya da politika değişikliğinde ve sabit bir takvim tarihinde yeniden çalıştırın. Sonra seti, gerçek misafir konuşmalarından sorular ekleyerek ve yanıtları meşru biçimde değişen soruları emekli ederek güncel tutun.

Tetikleyiciler: bir sağlayıcı bildirimi; otel fiyat ya da politika değişikliği; yeni oda tipi, satış noktası ya da dil; fiyatlara ya da otel yönetim sistemine yeni bir bağlantı; bir yanıtla ilgili herhangi bir misafir şikâyeti; sabit aylık ya da üç aylık bir tarih. Otellerin unuttuğu, politika ve fiyat değişiklikleridir. Asistan, otelin az önce düzenlediği veriden yanıt verirken test seti hâlâ eski beklenen yanıtı taşır.

Bir soruyu yalnızca yanıtı meşru biçimde değiştiğinde emekliye ayırın ve yeni beklenen yanıtı tarih ve gerekçeyle kaydedin. Misafirlerin sette olmayan bir şey sorduğu her seferde bir soru ekleyin. Set, hayal gücünden değil, gerçek konuşmalardan büyümelidir.

Başarısız bir çalıştırmayı geçirmek için beklenen yanıtı asla düzenlemeyin. Bu, testi bir formaliteye çevirir ve elinizdeki tek uyarıyı ortadan kaldırır. Seti sürümleyin ve son birkaç çalıştırmayı saklayın. Turlar arasındaki örüntü, tek bir puandan daha fazlasını söyler. Devreye aldıktan sonra bu rutinin hafif bir sürümünü, yapay zekâ asistanı için haftalık izleme kontrol listesiyle birlikte yürütün.

Aynı disiplini kendimize de uyguluyoruz: AI Otel, hangi modelin hangi katmana uygun olduğuna karar vermek için 30 vakalık bir test seti kurdu; sonuçlar ölçüldüğünde yayımlanacak. Set geliştirildi ve ölçümü bekliyor; yayımlanmış bir puan değil ve henüz eğitilmiş bir modelimiz yok. Platform sayfaları her bileşeni kendi durum sözcüğüyle tanıtıyor.

Şimdi ne yapmalı#

Bu hafta ilk yirmi soruyu yazın, çalıştırılacakları veriyi dondurun ve hiçbir şey değişmemişken seti bir kez şimdi çalıştırın. O çalıştırma sizin temel ölçümünüzdür: eşiğe ve iki imzacı adına bağlanacak bir dayanak verir ve bir sonraki sağlayıcı değişikliğini, resepsiyonda bir sürpriz olmaktan çıkarıp bir saatte okuyabileceğiniz tarihli bir karşılaştırmaya çevirir. Bu sorunu kendi platformumuzda nasıl ele aldığımızı görmek için görüşme talep edin.