Yapay zekâda önyargı: dile, isme ve uyruğa göre değişen yanıtlar otelde nasıl fark edilir?

Yapay zekâ önyargısı, bir modelin öğrendiği metindeki örüntülerin benzer vakaları farklı biçimde ele almasına yol açmasıdır. Otelde kendini şöyle gösterir: bir dilde daha kısa yanıt, bir isme daha soğuk bir ton ya da deneyim yerine ifade biçimine ağırlık veren bir özgeçmiş özeti. Bunu araçtan sorarak değil, karşılaştırarak bulursunuz.

Örneğin: bir misafir Arapça yazıyor ve üç satırlık bir yanıt alıyor. Aynı talep Almanca yazıldığında bir paragraf, bir özür ve bir teklif geliyor. Bunu otelde kimse böyle kararlaştırmadı; metindeki bir örüntü bunu yaptı. Bu yazının sonunda eşitsiz muamelenin yapay zekâ kullanımınızın neresinden girebileceğini söyleyebilecek, kendi tesisinizde eşleştirilmiş bir test çalıştırabilecek ve hangi kararların asla bir insanın masasından ayrılmayacağını bilebileceksiniz.

Yapay zekâ önyargısı düz bir dille nedir?#

Yapay zekâ önyargısı, kimsenin niyetinden değil, bir modelin öğrendiği metindeki örüntülerden kaynaklanan eşitsiz muameledir. Araç misafirleriniz hakkında bir görüşe sahip değildir; örüntüleri sürdürür ve bu örüntülerin bir kısmı eğridir.

Bir dil modeli yanıtı, eğitildiği metne benzeyen metni sürdürerek üretir. O metin bazı grupları farklı biçimde tanımladıysa ya da onlara farklı seslendiyse, yanıt bu farkı taşıyabilir. Önyargı üç noktadan girer: sağlayıcının seçtiği eğitim metni, sağlayıcının ya da otelinizin yazdığı talimatlar ve otelinizin geri beslediği veri, örneğin geçmiş yanıtlar veya geçmiş ret kararları.

Önyargı, aynı biçimde ele alınması gereken iki vaka arasındaki fark olarak görünür hâle gelir. Tek başına bir yanıt hiçbir şey kanıtlamaz. Bu yüzden gerçek yapay zekâ önyargı örnekleri daima yan yana duran iki yanıt gösterir, tek değil.

Önyargıyı meşru bir farktan ayırın. Sadakat programı fiyatı, oda tipi veya sözleşmeli acente fiyatı, rezervasyona bağlı gerekçelerdir; kişinin kim olduğuna değil. Çalışan test şudur: gerekçeyi misafirin dilini, ismini, uyruğunu, cinsiyetini ya da yaşını anmadan yüksek sesle söyleyebilir misiniz? Söyleyemiyorsanız, biri size gerekçeyi gösterene kadar o farkı şüpheli sayın.

Hiçbir araç önyargısız değildir. Gerçekçi hedef bir sertifika değil; tespit, yazılı bir kural ve geçersiz kılabilen bir insandır.

Meşru fark mı, şüpheli fark mı?#

Önyargı otelin günlük işlerinde nerede görünür?#

Çoğunlukla küçük ve tekrarlanan yerlerde: bir yanıtın uzunluğunda ve sıcaklığında, kime oda yükseltmesi önerildiğinde, bir şikâyete nasıl yanıt verildiğinde ve yüzlerce yorumun ya da özgeçmişin nasıl özetlendiğinde. Tam da kimsenin yeniden okumadığı yerlerdir bunlar.

Dile göre yanıtlar. Kalite dil çiftleri arasında eşit değildir: bir model, daha az gördüğü bir dilde daha kısa, daha kaba ya da daha resmî metin üretebilir. Ekibinizin kolay bulduğu dilleri değil, misafirlerinizin gerçekte yazdığı dilleri alın. Modelin önünde bir makine çevirisi varsa zincirin tamamını değerlendirin: çeviri, asistan yanıt vermeden önce kibarlığı düzleştirebilir ya da bir talebi bir isteme dönüştürebilir. Bu konuyu ayrıca yapay zekâ ile çeviri yazısında ele alıyoruz.

İsme göre ton. Farklı isimlerle imzalanmış aynı talep, farklı bir sıcaklık, farklı teklifler ya da farklı bir kapanış cümlesi çekebilir. İsimler, modelin metinden edindiği çağrışımlar taşır.

Özgeçmiş eleme. Kısa liste çıkarması istenen bir model, sizin yazdığınız gereksinimleri değil, ifade biçimini, okul adlarını ve dizgimi ağırlıklandırır. İşe alım, ayrıca yanlış bir kısa listenin en çok zarar verdiği yerdir. Yorum özetleri benzerdir: yüzlerce yorumu sıkıştırmak, gürültülü bir örüntüyü büyütür ve bir misafir grubunu etkileyen daha sessiz bir şikâyeti düşürebilir.

Teklifler ve şikâyetler. Ücretli oda yükseltmesinin, geç çıkışın ya da daha iyi odanın kime önerildiği, bir asistanın sessizce eğritebileceği ticari bir karardır. Tazminat, iade ve iyi niyet jestleri en riskli yanıtlardır; çünkü hem para hem adalettirler.

Bir yapay zekâ asistanı önyargı bakımından nasıl test edilir? Eşleştirilmiş test#

Aynı talebi iki kez gönderir, misafir hakkında tam olarak tek bir şeyi değiştirir ve iki yanıtı yan yana karşılaştırırsınız. Yöntemin tamamı budur; gerisi, kalan her şeyi aynı tutma disiplinidir.

Geçen aydan on gerçek vaka alın: bir fiyat sorusu, bir geç çıkış talebi, bir şikâyet, özel bir istek, bir iptal. Her biri için yalnızca tek bir öznitelikte farklı olan bir çift kurun: dil, isim, uyruk, cinsiyet ya da yaş. Tarihler, oda tipi, fiyat kodu ve ifade dâhil başka hiçbir şeyi değiştirmeyin.

İkisini aynı oturumda çalıştırın ve yanıtların tamamını, sonradan yazdığınız bir özet olarak değil, birebir saklayın. Dört ölçekte karşılaştırın: uzunluk, ton (kibar kalıpları ve özrü sayın), içerik (aynı gerçekler, aynı teklif, aynı sonraki adım) ve üst birime aktarma (biri bir yetkiliye ulaştı, diğeri ulaşmadı mı). Her çifti üç düzeyde puanlayın: aynı, hafif farklı, belirgin farklı. Belirgin farklı, bir misafirin fark edeceği ve daha kötü muamele göreceği anlamına gelir.

Çifti ters sırayla bir kez daha çalıştırın. Bir oturumdaki ilk yanıt ikincisini etkileyebilir. Ve testi bir demo tesis üzerinde ya da test rezervasyonlarıyla yapın; asla uydurma kimliklerle gerçek misafirlere yazarak değil. Daha geniş kurulum yapay zekâ asistanını devreye almadan önce nasıl test edersiniz yazısında anlatılıyor.

Hangi kararlar insanlarda kalmalı?#

Misafirin ne ödediğini, kabul edilip edilmediğini, bir şikâyetin nasıl sonuçlandığını ya da kimin işe alındığını değiştiren her şey. Asistan taslak hazırlayabilir, özetleyebilir ve önerebilir; kararı belirli bir kişi verir ve imzalar.

Fiyat. Fiyat teklifleri, indirimler ve feragatler gelir yönetiminde ya da ön büro müdüründe kalır. Uyruğa göre fiyatlandırma, bir modele devredilecek bir ayar değil, danışmanınıza ait hukuki ve ticari bir sorudur. Erişim. Bir rezervasyonu reddetmek, bir misafiri işaretlemek, rezervasyonu iptal etmek ya da bir hizmeti kısıtlamak, vardiyadan uzun süre etkisi süren kararlardır.

Tazminat. İadeler, bedelsiz verilen oda yükseltmeleri ve iyi niyet jestleri hem işletmeden çıkan paradır hem misafire verilen bir adalet sinyali. İşe alım ve performans. Bir kısa liste ya da özet bir yöneticiyi bilgilendirebilir; dosyayı okuyan ve adayla görüşen kişinin yerini alamaz. Resmî şikâyetler ve hukuki tehditler, her dilde, aynı tetikleyiciyle, derhal bir kişiye gider.

Onayın bir anlamı olmalı. Bir kişi günde iki yüz maddeyi okumadan onaylıyorsa denetim yalnızca kâğıt üzerinde vardır; hacmi okunabilir düzeyde tutun. İnsan onayının bütün tablosu otelde yapay zekâ: hangi eylemler bir kişinin onayını gerektirir yazısındadır.

Muameleyi diller ve isimler arasında eşit tutan kurallar nelerdir?#

Tek bir bilgi föyü ve tek bir ifade kuralı kümesi; bir kez yazılır ve her dilde uygulanır. Kurallar yalnızca talimatları yazan kişinin kafasında yaşıyorsa, dile göre kayarlar.

Bilgi föyü, otelin ne sunduğunu, asla neyi vaat etmediğini ve bir şey ters gittiğinde ne sunabileceğini, bir çevirmenin aktarabileceği düz cümlelerle belirtir. İfade kuralları selamlamayı, özrü, kapanışı, imzayı ve herhangi bir jestin sınırını sabitler; böylece ton dil çiftine bağlı kalmaz.

Her dil çifti için, ana dili konuşan birinin gözden geçirdiği kısa bir sözlük, ön ödeme (kapora), geç çıkış ve iptal koşulları gibi terimleri her yerde aynı tutar. Tüm diller için tek bir tırmanma kuralı: misafir para iadesi isterse, avukat, yaralanma ya da kayıp eşyadan söz ederse bir kişi devralır.

Belgelenmiş ve hukuka uygun bir gerekçe yoksa kimlik alanlarını asistanın talimatlarına geçirmeyin. Talimattaki uyruk, yanıtta uyruk davet eder. Son olarak, her görüşmenin dilini kaydedin ki sonraki karşılaştırmalar her şeyi yeniden okumadan yapılabilsin.

Bulunanlar nasıl kayda geçer ve değişiklikten sonra nasıl yeniden test edilir?#

Her bulguyu çiftiyle, kararıyla ve değerlendiren kişiyle birlikte yazın, sonra bir şey her değiştiğinde aynı çiftleri yeniden çalıştırın. Kimsenin kaydetmediği bir bulgu, size bir şikâyet olarak geri dönecek bulgudur.

Önyargı kaydı tarihi, vakayı, değiştirdiğiniz özniteliği, her iki yanıtı, kararı ve inceleyeni tutar. İnsanların gerçekten dolduracağı kadar kısa tutun. Çiftleri bir dizi hâlinde saklayın: aynı on vaka, yeniden çalıştırılır ve belleğe göre değil, önceki kararlara göre karşılaştırılır.

Yönetime üç ayda bir düz bir dille rapor verin: ne test edildi, ne farklı çıktı, ne değişti, ne hâlâ açık. Sağlayıcıyla ya da talimatları yazan kişiyle döngüyü kapatın ve hangi değişikliğin hangi bulguyu giderdiğini kaydedin. Devreye alımdan sonraki düzenli ritim için yapay zekâ asistanını devreye aldıktan sonra: haftalık izleme kontrol listesi yazısına bakın.

Şimdi ne yapmalı#

Bu hafta kendi gelen kutunuzdan beş gerçek vakayla eşleştirilmiş testi çalıştırın, sonuçları bir kayda yazın ve bir kişide kalacak dört kararı not edin: fiyat, erişim, tazminat ve işe alım. Test size nerede durduğunuzu söyler; kayıt ve yeniden test tarihi, yanıtı bir sonraki değişiklikten sonra da dürüst tutan şeydir.