Yapay zekâ modeli seçimi: AI Otel neden önce ölçecek?

Model değerlendirme, bir yapay zekâ modeline iş vermeden önce, sabit görevler üzerinden puan vermektir. AI Otel hiçbir model adı vermiyor: mimarisi modele bağlı değil ve model, her kurulum için ölçümlü değerlendirmeyle seçilecek. Bu değerlendirmenin aracı, 30 vaka ve 5 tuzak içeren, geliştirilmiş ama henüz çalıştırılmamış bir test seti.

Bir otel yazılımı tedarikçisine hangi yapay zekâ modelini kullandığını sorarsanız, yanıt bir ad olabilir. Modelin tedarikçinin kendi otel görevlerinde ne aldığını sorarsanız, modelin tanıtımı bir ölçüm değildir. Bu yazı, oteller için yapay zekâ modeli seçiminin nasıl yürütülmesi gerektiğini anlatıyor: modele bağlı olmayan mimarinin ne demek olduğu, test setinin ve tuzak vakasının ne olduğu, resepsiyonda bir başarının ne anlama gelmesi gerektiği ve yayımlanmış her yapay zekâ değerlendirmesinin nasıl okunacağı. Yazının sonunda, herhangi bir tedarikçiye, AI Otel dâhil, tek bir soru sorabilecek durumda olacaksınız.

AI Otel neden hiçbir yapay zekâ modelinin adını vermiyor?#

Çünkü seçim, henüz yapılmamış bir ölçüme dayanması gereken bir karar; model adını önce vermek, iddiayı kanıtın önüne koymak olur.

Bir model adı, yetenek hakkında bir iddiadır. Otelin kendi görevlerinde alınmış bir puan ise kanıttır. Sıralama önemlidir: önce ad, sonra ölçüm derseniz, ad pazarlamaya dönüşür. Model adları ayrıca eskir. Yazı yazıldığı gün güncel olan bir ad, okurun oteli onu kullanmaya başlamadan önce yerini başka bir sürüme bırakabilir, değişebilir ya da piyasadan çekilebilir; yazı bunu izleyemez.

Otel işi de tek bir görev değildir. Tesisle ilgili bir soruyu yanıtlamak, misafire bir mesaj taslağı hazırlamak ve bir fiyat değişikliği önermek farklı işlerdir ve tek bir modelin hepsi için doğru model olması gerekmez. Bir model adı vermek, var olmayan bir ortaklık ya da onay olarak da okunur. Gösterilecek böyle bir anlaşma yoktur.

Bunun yerine var olan üç şey vardır: mimari, bir modelin içinde güvenle çalışacağı karar altyapısı ve modeli seçmek için kurulmuş test düzeneği. Pozisyonun tamamı budur ve denetlenebilir. Durum etiketleri de aynı bilgiyi taşır; AI Otel'in beş durum etiketi yazısında anlatıldığı gibi test seti geliştirilmiştir, faaliyette değildir.

Modele bağlı olmamak düz bir dille ne demek?#

Modelin yazılımda tanımlı bir dikiş çizgisinin arkasında durması demektir: bir parça, çevresindeki parçaları yeniden yazmadan değiştirilebilir.

Gündelik karşılığı duvar prizidir. Cihaz değişir; kablo, gerilim ve sigorta değişmez. Yazılımdaki dikiş çizgisi de aynı şekilde çalışır. Sabit tarafta otelin veri erişimi, yetkileri, güvenlik seviyeleri, karar kaydı ve denetim kaydı durur. Değişen tarafta model durur.

Model tanımlı bir istek alır: otelin kendi rakamları, soru ve yapmasına izin verilen işlemler. Tanımlı bir yanıt döndürür. Otelin sisteminin geri kalanı kımıldamaz. Çevresindeki kurallar her aday için aynı olduğu için, iki modele aynı vaka verilebilir ve adil biçimde karşılaştırılabilir. Dikiş çizgisi olmasaydı, yanıttaki bir fark modelden değil, boru düzenindeki bir farktan geliyor olabilirdi.

Seçim kurulum bazlıdır: bir model, belirli bir otel ya da belirli bir katman için ölçümlü değerlendirmeyle seçilir; herkes için, sonsuza dek bir kez seçilmez. Ödünleşme de dürüsttür. Bir dikiş çizgisi önceden tasarım emeği ister ve zayıf bir modeli güçlü yapmaz. Zayıf modeli görünür kılar; önemli olan da budur. Otelin kayıtlarını da korur: model değiştiğinde karar kaydı ve denetim izi yerinde kalır, çünkü onlar platforma aittir, modele değil. Bu, AI Otel'in neden önce kuralları koyduğunun bir nedenidir.

Test seti nedir, tuzak vakası nedir?#

Test seti, her birinin doğru davranışı tanımlanmış sabit görevlerden oluşan, çalıştırmadan önce yazılmış bir kuralla puanlanan bir kümedir. Tuzak, akıcı, inandırıcı ve yanlış bir yanıtın kolayca verilebildiği vakadır.

Sabitlik tasarımın tamamıdır. Vakalar ya da puanlama kuralı iki çalıştırma arasında değişirse iki sonuç karşılaştırılamaz; oysa karşılaştırma, bir test setini çalıştırmanın tek gerekçesidir. AI Otel'in test seti 30 vaka ve 5 tuzaktır. Geliştirildi, henüz çalıştırılmadı; amacı hangi modellerin hangi katmanda hizmet verebileceğine karar vermektir. Mimari modele bağlı değil; modeller her kurulum için ölçerek seçiliyor ve test seti bu seçimin aletidir.

Tuzak, bilmece sorusu değildir. Otel verisinin sıradan biçimde bozulduğu halleri yansıtır: henüz işlenmemiş bir rakam, birbiriyle çelişen iki kayıt, asistanın yetkisi dışında kalan bir istek. Bir tuzağın sınavı, doğru davranışın önceden tanımlı olmasıdır. "Bu rakam henüz mevcut değil" demek başarı sayılmalı, uydurma bir sayıya güvenle sarılmak başarısızlık sayılmalıdır; çalıştırma başlamadan önce.

Tuzaklar, yalnızca kolay soruları ölçen bir test setine karşı da korur. Otuz rahat vaka, modelleri otel işine uygunluğa göre değil akıcılığa göre sıralardı. Okura bir uyarı: küçük bir test seti bir filtre, bir belge değildir. Bir modeli bir katman için eleyebilir. Her otelde iyi davranacağını kanıtlayamaz.

Otel işi için bir başarı ne anlama gelmelidir?#

Yanıt otelin kendi verisinden gelmiş, veri eksikken asistan bunu söylemiş, işlem kendi güvenlik seviyesi içinde kalmış ve yanıt sistemin hizmet verdiği her dilde tutuyor olmalıdır.

Temellendirme önce gelir. Yanıt otelin kendi kayıtlarından gelmeli ve asistan hangi rakamları kullandığını gösterebilmelidir. Kaynağını gösteremeyen bir yanıt, tesadüfen doğru olsa bile başarı değildir. İkizi, çekilme davranışıdır: veri eksikse doğrusu bunu söylemektir. Bir resepsiyonda kendinden emin bir yanlış sayı, "henüz mevcut değil"den daha kötüdür; çünkü biri ona göre hareket eder.

Yetki, metin kadar önemlidir. Asistanın yapabileceği her işlem üç güvenlik seviyesinden birindedir: bazıları doğrudan çalışır, bazıları bir kişinin onayını ister, en hassas olanlar iki onay ister. Bir başarı, doğru kelimeleri üretmek değil, seviyenin içinde kalmayı da içerir. Doğru, kabul edilebilir ile aynı şey değildir: bazı vakalar ancak bir kişi adımı onayladığında geçerli sayılmalıdır ve kural, sonucu görüp sonra değil, önceden bu vakaları adıyla anmalıdır.

Dil bir gerekliliktir, lüks değil. Otel işletim sistemi Türkçe, İngilizce, Arapça, Rusça ve Almanca çalışır. Bir dilde alınan başarı beş dilde alınmış değildir ve puanlama kuralı bunu çalıştırmadan önce söylemelidir. Tutarlılık da aynı kurala aittir: aynı soru iki kez sorulduğunda ya da farklı sözlerle sorulduğunda çelişkili yanıtlar gelmemelidir. Bunu sınamak ucuz, masada keşfetmek pahalıdır.

Sonuçlar nasıl yayımlanacak?#

Sonuçlar ölçüldüğünde yayımlanacak. Tarih verilmiyor; çünkü söz verilen bir tarih, bu yazının karşı çıktığı türden bir iddia olurdu.

Çalıştırma yapılmadan doğru ifade durum sözcüğüdür: geliştirildi, ölçüm bekliyor. Bundan fazlasını söylemek bir sonuç uydurmak olurdu. Yayımlanmış bir değerlendirme ancak dört şeyi adıyla söylerse işe yarar: hangi modelin sınandığını, hangi vaka sürümünün kullanıldığını, hangi puanlama kuralının uygulandığını ve neyin başarısız olduğunu. Asıl bilgilendirici kısım başarısızlıklardır. Yalnızca başarıları gösteren bir rapor, okura sistemin nerede güvenilir olmaktan çıktığı hakkında hiçbir şey söylemez.

Sürümleme önemlidir. Vakalar değişirse sürüm numarası da değişmelidir; yoksa bir tarihteki sonuç, başka bir tarihteki yanına konamaz. İyi niyetin gerçek sınavı yeniden çalıştırılabilirdir: yayımlanmış vakalar ve yayımlanmış kural, başka birinin aynı çalıştırmayı yapıp aynı sonuca ulaşmasını sağlar.

Katmanlar, seçilecek bir modelin sonunda çalışacağı yerlerdir. Otel Beyni'nin mimarisi tamamlandı ve eğitim aşamasına giriyor; Platform Beyni tasarlandı; Sektör Beyni yol haritasında; ve henüz eğitilmiş bir model yok. Türkiye'nin Turizm Beyni ve üç beyin hakkında daha fazla şey okuyabilirsiniz.

Yayımlanmış bir yapay zekâ değerlendirmesinden ne istemelisiniz?#

Görevleri, puanlama kuralını, başarısızlıkları ve çalıştırma tarihini isteyin; bunlarsız bir model adını değerlendirme değil reklam olarak okuyun.

Bu beklenti için kamuya açık bir referans var. NIST'in gönüllü Yapay Zekâ Risk Yönetimi Çerçevesi (AI RMF 1.0, Ocak 2023), yapay zekâ sistemlerinin kullanıma alınmadan önce ve kullanım sırasında düzenli olarak test edilmesi gerektiğini; ölçümün titiz yazılım testlerini, performans ölçütleriyle kıyaslamayı ve sonuçların resmî biçimde raporlanıp belgelenmesini içermesi gerektiğini belirtir (NIST AI 100-1, bölüm 5.3 (yeni sekmede açılır), 2023-01).

Aynı çerçeve güvenilir yapay zekâ sistemlerinin özelliklerini şöyle sıralar: geçerli ve güvenilir, emniyetli, güvenli ve dayanıklı, hesap verebilir ve şeffaf, açıklanabilir ve yorumlanabilir, mahremiyeti gözeten ve zararlı yanlılığı yönetilen adil. Bu sözler, herhangi bir tedarikçi raporunu okumak için kullanışlı bir kontrol listesidir. Çerçeveye göre karar almada ve sistemlerin gözetiminde insanların rol ve sorumlulukları da açıkça tanımlanmalıdır; bazı sistemler insan gözetimi gerektirmeyebilirken bazıları özellikle gerektirir. Otel işi için bunun anlamı şudur: onay noktaları işlem işlem adıyla belirtilmelidir.

Çerçeve gönüllüdür ve hiçbir şeyi belgelendirmez. Ona atıf yapmak bir sertifika değildir ve hiçbir tedarikçi bunu sertifika gibi sunmamalıdır. Bir otelin kendi yapay zekâ asistanı denemesi için de sorular aynıdır, yalnızca ölçek küçüktür: sabit görevler, önceden üzerinde anlaşılmış bir kural ve neyin ters gittiğinin yazılı kaydı. Asistanı devreye almadan önce nasıl test edeceğinizi de okuyabilirsiniz.

Şimdi ne yapmalı#

Herhangi bir tedarikçiye, AI Otel dâhil, tek bir soru sorun: model adının ardındaki ölçümü gösterin, adı değil. Bu yazının bölümleri tek bir zincir olarak birbirine bağlanır: dikiş çizgisi karşılaştırmayı mümkün kılar, test seti karşılaştırmayı adil kılar, tanımlı bir başarı sonucu anlamlı kılar ve yayımlama her şeyi denetlenebilir kılar. Zincir tamamlanana kadar dürüst ifade durum sözcüğüdür. Zincirin bugün nerede durduğunu görmek için görüşme talep edin.