Yapay zekâ asistanını devreye almadan önce nasıl test edersiniz?

Test, kendi resepsiyon ve misafir sorularınızdan oluşan sabit bir soru setidir; her sorunun beklenen yanıtı ve geçme kuralı, asistan çalışmadan önce yazılır. Reddetme ya da personele devretmenin doğru yanıt olduğu tuzak sorular da sete girer. Her yanıt puanlanır, adı geçen bir kişi onaylar ve her değişiklikten sonra test yeniden koşulur. Yapay zekâ asistanı nasıl test edilir sorusunun yanıtı kısaca budur.

Demo, tertemiz kurgusal bir tesiste koşar ve her soruyu akıcı biçimde yanıtlar. Sonra sizin resepsiyonunuzdan biri acente rezervasyonunda iade sorusu sorar ve asistan, hiçbir belgenizde bulunmayan bir iptal politikası üretir. Asistanın personelinize ve misafirlerinize ulaşmadan önce nasıl test edileceğini bilmek, bu iki an arasındaki farktır. Bu yazının sonunda kendi sorularınızdan bir test seti kurabilecek, koşabilecek, puanlayabilecek ve karar verebileceksiniz.

Satıcı demosu neden test sayılmaz?#

Demo, asistanın satıcının seçtiği sorularla ve satıcının verisiyle ne yaptığını gösterir. Test ise sizin sorularınızla, yanıtlara bakmadan önce yazdığınız doğru cevaplarla ne yaptığını gösterir.

Demoda girdiler seçilidir. Soruları satıcı seçer, tesis çoğu zaman kurgusaldır ve arkasındaki kayıtlar eksiksizdir; asistana kimsenin doldurmadığı bir alan sorulmaz. Demoda geçme kuralı da yoktur. Yanlış yanıtın nasıl görüneceğine dair yazılı hiçbir şey yoktur; bu yüzden akıcı ve kendinden emin bir yanıt, doğru yanıt gibi okunur.

Akıcılık, asıl tehlikedir. ABD Ulusal Standartlar ve Teknoloji Enstitüsü, Generative Artificial Intelligence Profile (NIST AI 600-1, Temmuz 2024) (yeni sekmede açılır) belgesinde "confabulation"ı, yani uydurmayı, kullanıcıları yanıltabilecek, kendinden emin bir dille sunulan hatalı ya da yanlış içerik üretimi olarak tanımlar ve aşırı güveni bu sistemlerin riskleri arasında sayar. Türkiye'de de düzenleyici aynı noktayı dile getirir: Kişisel Verileri Koruma Kurumu, Üretken Yapay Zekâ ve Kişisel Verilerin Korunması Rehberi'nde (Yayın No 113, 24 Kasım 2025) (yeni sekmede açılır) "halüsinasyon"u gerçeklikle örtüşmeyen ama çoğu zaman makul ve ikna edici görünen içerik olarak açıklar; yanıtlar tutarlı görünse bile hatalı olabileceği için doğruluk kontrolünün, çıktıların düzenli izlenmesinin ve gerektiğinde insan gözetiminin önemli olduğunu vurgular. Kendi yükümlülükleriniz için hukuk danışmanınıza danışın.

Demo, reddetmeyi neredeyse hiç göstermez: doğru yanıtın "hayır", "bilmiyorum" ya da "bir meslektaşıma sorayım" olduğu anda asistan ne yapar? Otelin en çok ihtiyaç duyduğu davranış tam olarak budur. Yine de demo bir işe yarar: asistanın kendi testinize bir öğleden sonra ayırmaya değer olup olmadığına karar vermeye ve test setine aday sorular toplamaya. O öğleden önce önce otel için yapay zekâ yazılımı seçerken sağlayıcıya sorulacak soruları okuyun.

Kendi resepsiyon sorularınızdan ve misafir mesajlarından test seti nasıl kurulur?#

Personelin ve misafirlerin gerçekten sorduğu soruları toplayın, bir kişiyi ya da rezervasyonu tanımlayan her şeyi ayıklayın ve hepsini tarihli, sahipli tek bir dosyada tutun.

Gerçek soruların zaten var olduğu yerlerden çekin: ön büro vardiya notları, e-posta ve mesajlaşma uygulamalarından gelen misafir mesajları, şikâyet kayıtları, rezervasyon değişiklik talepleri, gün sonu (night audit) sorguları, spa, restoran ya da transfer talepleri. Her şeyden önce anonimleştirin. Adları, kimlik ve pasaport numaralarını, telefonu, e-postayı, rezervasyon ve oda numaralarını ve tek bir konaklamayı işaret eden tarih kombinasyonlarını çıkarın. Yerine, sorunun biçimini koruyan yer tutucular koyun; örneğin bir misafirin [N] gecelik rezervasyonunu [daha ileri bir tarihe] taşınmasını istemesi gibi.

Test setini, anonimleşene kadar kişisel veri olarak değerlendirin. Kişisel Verileri Koruma Kurumu'nun etken yapay zekâ dokümanı (Şubat 2026) (yeni sekmede açılır), iyi uygulama olarak geliştirme aşamasında sistemin hangi verilere erişebileceğinin ve hangi kararları verebileceğinin insanlarca belirlenmesini ve bu sınırların test edilmesini önerir. Bir araca herhangi bir şey yapıştırmadan önce kendi uygulamanızı hukuk danışmanınıza doğrulatın.

Soruları dağınık hâlde tutun. Gerçek mesajlar kısa, yazım hatalı, diller arası karışık ve bağlamdan yoksundur. Bunları düzeltmek, testi resepsiyondan daha kolay hâle getirir. Her maddeyi kaynağıyla ve diliyle etiketleyin; böylece bir hata, geldiği kanala geri izlenebilir. Seti, asistanın yapacağı işlere göre boyutlandırın, yuvarlak bir sayıya göre değil: yanıtlayacağı ya da işlem yapacağı her görev için en az bir madde olsun ve bütün set, iki kişinin tek oturumda elle puanlayabileceği kadar küçük kalsın.

Test setine hangi tuzaklar girmeli?#

Her test setinde, doğru davranışın reddetmek, bilmediğini söylemek ya da misafiri adı belli bir kişiye devretmek olduğu maddeler olmalıdır; çünkü demoda asla gösterilmeyen yanıtlar bunlardır.

Para tuzakları önce gelir: yazılı politikanın dışında bir iade, indirim ya da ücret affı. Doğru davranış, politikayı söylemek ve talebi bir kişiye iletmeyi önermektir; asla bir tutara onay vermemek. Kural esnetme tuzakları sonra gelir: oda hazır değilken erken giriş, oda kapasitesinin üzerinde fazladan misafir, sigara içilmeyen bir tesiste sigaralı oda. Doğru davranış, gerekçesiyle net bir "hayır"dır. Eksik veri tuzakları boşluğu sınar: yanıt ilke olarak vardır ama alan boştur; örneğin hiç yüklenmemiş bir fiyat. Doğru davranış, bilginin mevcut olmadığını söylemektir; boşluğu makul görünen bir rakamla doldurmak değil. Sınır tuzakları başka bir misafirin rezervasyonuyla ilgili soruyu, başkasının hesabını istemeyi, başka bir otelle ilgili soruyu ve asistana kendi kurallarını yok saymasını söyleyen bir talimatı kapsar. Doğru davranış, reddetmek ve devretmektir.

İnandırıcılık önemlidir. Kimsenin hiç sormayacağı bir tuzak hiçbir şey öğretmez; tuzakları, resepsiyonunuzun gerçekten reddetmek zorunda kaldığı taleplerden kurun. NIST'in Generative Artificial Intelligence Profile belgesi (Temmuz 2024), insanla sistem arasındaki düzenin otomasyon yanlılığına ya da aşırı güvene yol açabilmesini üretken yapay zekâ riskleri arasında sayar. Tuzaklar, ekibinizin kendinden emin bir yanlış yanıtı misafirden önce yakalayıp yakalamayacağını öğrenmenin yoludur. Her tuzağın beklenen davranışı eylem olarak yazılmalıdır, senaryo olarak değil: rezervasyonlara devret, tutar söyleme, rezervasyonu onaylama. Sözler değişebilir; davranış değişemez.

Bu güvencelerin genel resimde nereye oturduğunu görmek için otelcilikte yapay zekâ: nerede işe yarar, nerede dikkat gerekir? yazısına bakın.

Beklenen yanıt ve geçme kuralı testten önce nasıl yazılır?#

Her madde için, iyi bir yanıtın ne içermesi ve neyin başarısız sayılacağını, asistan soruyu görmeden, aynı dosyaya yazın.

Beklenen yanıtın üç parçası vardır: yer alması gereken olgular (politika, doğru tarih, geçerli kural), yapılması gereken eylem (rezervasyonlara devret, işlem yapma) ve yer almaması gerekenler (vaat edilmiş iade, uydurma rakam, başka bir misafirin bilgisi). Geçme kuralı, ikinci bir kişinin size sormadan uygulayabileceği bir cümle olmalıdır. Örneğin: politikadaki iptal penceresini belgeye uygun söyler ve talebi rezervasyona aktarmayı önerirse geçer; herhangi bir iade tutarı söylerse kalır.

Doğru kaynaktan yazın: politika belgesi, fiyat listesi ya da standart işlem prosedürü; asistanın daha önce verdiği bir yanıt değil. Sürümü dondurun. Dosyayı tarihleyin ve asistanın neye karşı koşacağını kaydedin: satıcının bildirdiği model sürümü, verilen talimatlar ve okuduğu veri anlık görüntüsü.

Önce yazmanın nedeni, okumanın nasıl çalıştığıdır. Akıcı bir yanıt gözünüzün önüne geldiğinde, onu kendi söylediklerine göre değerlendirmeye başlarsınız. Kuralı önceden yazmak sizi bundan korur. Koşumdan önce ikinci bir kişi geçme kurallarını okusun. Ne demek istediğinizi sormadan bir kuralı uygulayamıyorsa, kural bitmemiş demektir.

Her yanıt nasıl puanlanır?#

Her yanıtı dört sonuçtan birine koyun, etiketin yanına gerekçeyi yazın ve ham yanıtı saklayın ki puan sonra denetlenebilsin.

Sözcükleri olduğu gibi eylemi de puanlayın. Asistan sistemde bir şey değiştirebiliyorsa, test yalnızca ne dediğine değil ne yaptığına da bakmalıdır. Asistanın kaynağı gösterebildiği yerde yolu da puanlayın. Politika belgesine atıf yapan bir yanıt ile benzer sesli bir cümle üretmiş bir yanıt, metin aynı olsa bile aynı sonuç değildir.

Tuzak maddelerinde iki puanlayıcı kullanın. Ayrıldıkları noktada bulgu çoğu zaman asistanla değil, sizin geçme kuralınızla ilgilidir ve kural yeniden yazılmalıdır. Tek bir ortalama rakamda durmayın. Yüksek bir ortalama, en önemli maddedeki tek bir yanlış yanıtı gizler: iade, misafirin kişisel verisi ya da yasal bir görev gibi. Devreye alma kararı tam olarak bu maddeye dayanmalıdır. Yanıtları, puanları ve tarihi tek dosyada tutun. Yanıt olmayan bir puan, asistan değiştiğinde yeniden incelenemez.

Asistanın fiyat ya da fiyat değişikliği önerdiği yerlerde aynı dört etiket geçerlidir; ama denetlenecek olan, verilen gerekçenin işleyen kuralla eşleşip eşleşmediğidir, rakamın makul görünüp görünmediği değil. Ayrıntı için yapay zekâ fiyat önerisi: onaylamadan önce gerekçede neye bakılmalı? yazısına bakın.

Onayı kim verir ve ne devreye almayı engeller?#

Onayı otel içinde adı geçen bir kişi verir, satıcı değil; ve sabit bir hata listesi, ortalama puan ne derse desin devreye almayı engeller.

Koşumdan önce rolleri belirleyin: resepsiyon soruları için ön büro müdürü, misafir mesajları için misafir ilişkileri, erişim ve kayıtlar için bir bilişim ya da veri sahibi ve politika yanıtlarından sorumlu bir müdür. Karardan biri sorumludur. Satıcının kendi sonuçları testinize girdidir, onay değil.

Engelleyiciler, ortalamadan bağımsız olarak: parayla, misafirin kişisel verisiyle ya da misafir kimlik bildirimi (KBS) ya da fatura gibi yasal bir görevle ilgili herhangi bir yanlış yanıt; gerekli onayı almadan yapılmış herhangi bir eylem; politika uyduran herhangi bir yanıt; ve kendinden emin bir yanlış yanıtı iki kez üreten herhangi bir tuzak. Kişisel Verileri Koruma Kurumu'nun etken yapay zekâ dokümanı (Şubat 2026) gözetimi önceden tanımlanacak bir şey olarak ele alır: insanların hangi koşullarda ve hangi aşamalarda devreye gireceği, kullanıma alırken yüksek risk taşıyabilecek kararlar için ilave insan incelemesi ve kullanımdan sonra sistemin davranışlarının ve etkileşimlerinin izlenmesi.

Devreye alma kapsamını tek sayfada yazın: asistan hangi görevleri yapabilir, hangilerinde yalnızca yanıt verebilir, hangilerini devretmek zorundadır. Dar bir kapsam hem test etmesi hem de geri çekmesi kolaydır. Kararı, tarihi ve dayandığı test dosyasını kaydedin ki bir sonraki kişi, asistanın misafirin karşısına neden çıkarıldığını görebilsin.

Ne zaman yeniden test edilir?#

Okuduğu veride, izlediği talimatlarda ya da arkasındaki modelde herhangi bir değişiklikten sonra bütün seti yeniden koşun; aradaki dönemde tuzak maddelerini sabit bir takvimle çalıştırın.

Üç tetikleyici vardır. Veri değişikliği: yeni bir fiyat planı, değişen bir politika, adı değiştirilen ya da boşaltılan bir alan. Talimat değişikliği: istemde ya da bilgi belgesinde yeni bir kural. Model değişikliği: satıcı modeli günceller ya da değiştirir ve bunu geç ya da hiç duymayabilirsiniz; nasıl haber verileceğini yazılı olarak sorun. Net bir yanıt yoksa, haber beklemek yerine düzenli bir tuzak koşumu planlayın.

Eski yanıtları saklayın. Gerileme, eskiden geçen ve şimdi kalan maddedir; bunu yalnızca önceki sonuç yeninin yanında duruyorsa görebilirsiniz. Tuzakları önce koşun: üretmesi en ucuz sinyal bunlardır ve misafir için en çok önem taşıyanlar da. Test setini sürümleyin: madde eklediğinizde tarihleyin. Eski bir maddeyi geçene kadar sessizce düzenlemeyin; bu, testi demoya çevirir.

Devreye aldıktan sonra da sistemi izleyin, yalnızca öncesinde değil. Kurumun üretken yapay zekâ rehberi (24 Kasım 2025), çıktıların düzenli izlenmesini ve gerektiğinde insan gözetimiyle desteklenmesini vurgular; pratikteki biçimi, gerçek konuşmaların bir örneklemini her hafta aynı geçme kurallarıyla gözden geçirmektir. Modeli ölçerek seçmek otelin değil satıcının işidir; ama otel, bu seçimin ardındaki kanıtı ve son koşumun sonuçlarını isteyebilir. Bu yaklaşımın bir örneği için yapay zekâ modeli seçimi: AI Otel neden önce ölçecek? yazısına bakın.

Şimdi ne yapmalı#

Bu hafta, küçük başlayın: tek bir vardiyanın resepsiyon sorularını ve misafir mesajlarını alın, tanımlayıcıları ayıklayın, her madde için beklenen yanıtı ve geçme kuralını yazın ve seti, asistanı başkası görmeden önce bir kez koşun. Parçalar tek bir sırayla birleşir: kendi resepsiyonunuzdan sorular, reddetme ve devretme tuzakları, koşumdan önce yazılmış geçme kuralları, ham yanıtları saklanan dörtlü puanlama, sabit engellerle adı geçen bir onay ve veri, talimat ya da modeldeki her değişiklikten sonra yeniden koşulan aynı dosya.