Doğruluk, yanlış alarm, kaçırılan vaka: yapay zekâ test sonuçlarını okumak

Doğruluk, bir aracın verdiği tüm kararlar içinde doğru olanların payıdır. Kesinlik, aracın verdiği alarmların ne kadarının gerçek olduğunu; duyarlılık ise gerçek vakaların ne kadarını yakaladığını söyler. Tek bir doğruluk yüzdesi ikisini de gizler. Bir puana güvenmeden önce yanlış alarmlara, kaçırılan vakalara, karşılaştırma tabanına ve örneklem büyüklüğüne bakın.

Bir satıcının sunumunda asistanın yüzde 95 doğrulukta yazdığını görürsünüz. Bu sayı bu yazı için uydurulmuştur; asıl sorun bu değil. Tek bir yüzde, aracın su borusunu kaçırıp kaçıracağını ya da teknisyeni boşuna ayağa kaldırıp kaldırmayacağını oteline söyleyemez. Yazının sonunda her test puanını parçalara ayırabilecek, önemli olan dört sayıyı isteyebilecek ve otelin hangi hatayı göze alabileceğine karar verebileceksiniz.

Yüzde 95 doğruluk puanı gerçekte neyi ölçer?#

Doğruluk, test setindeki tüm kararların içinde aracın doğru yaptıklarının payıdır. Hangi kararları yanlış yaptığını söylemez; maliyet de tam orada yatar.

Yazı boyunca tek bir örnek kullanalım. Bir asistan gelen misafir mesajlarını okuyor ve her birinin acil bir bakım sorunu mu (nöbetçi teknisyene iletilmek üzere) yoksa normal kuyruğa girecek rutin bir mesaj mı olduğuna karar veriyor. Test seti, örneğin, bir kişi tarafından acil ya da rutin diye etiketlenmiş 200 eski mesaj. Kırkı gerçekten acil.

Araç 50 mesajı acil olarak işaretliyor. Bunların 38'i doğru; 12'si yanlış alarm. Kırk gerçek acil mesajın 2'sini kaçırıyor. Aritmetiği açıkça yazalım: 38 yakalanan artı 148 doğru şekilde dokunulmayan, 200 içinde 186 doğru eder; doğruluk yüzde 93.

Sayı neden abartılı? Çünkü 200 mesajın 160'ı rutin; hiçbir şeyi işaretlemeyen bir araç, tek bir iş yapmadan yüzde 80 alır. Doğruluk çoğunluğu ödüllendirir. Sunumdaki uydurma yüzde 95, duyarlılık olabilir; daha kolay bir görevdeki ya da başka bir test setindeki doğruluk olabilir. İlk soru her zaman şudur: bunlardan hangisi? Yüzde 95 bu yazı için uydurulmuş bir satış cümlesidir; altındaki aritmetik ise gerçek olan kısımdır.

Doğruluk 186/200 = yüzde 93. Kesinlik 38/50 = yüzde 76. Duyarlılık 38/40 = yüzde 95.

Yanlış alarm nedir, kaçırılan vaka nedir?#

Yanlış alarm, aracın harekete geçmesi gerekmeyen bir şeyde harekete geçmesidir; kaçırılan vaka, harekete geçmesi gerekirken sessiz kalmasıdır. İkisi de hatadır ve farklı faturalarla gelir.

Yanlış pozitif, düz bir deyişle: araç evet dedi, gerçek hayır. Örneğimizde ek yastık isteği acil sanılır ve teknisyen boş yere odaya yürür. Yanlış negatif: araç hayır dedi, gerçek evet. Sızan tavan, misafir resepsiyonu arayana kadar genel kuyrukta kalır.

İki hata simetrik değildir. Biri personelin dakikalarını harcar; öteki misafirin konaklamasını, belki de odayı. Bir araç, ikisini birbirine takas edecek şekilde ayarlanabilir: hassasiyeti artırınca yanlış alarmlar artar; azaltınca kaçırılan vakalar artar. İkisini birden kaldıran bir ayar yoktur; otel seçmek zorundadır.

Otel işinde gerçek çoğu zaman bir kişinin yargısıdır; dolayısıyla etiketlerin kendisi de hata taşır. Test setini kimin etiketlediğini ve kendi resepsiyon ekibinizin o etiketlere katılıp katılmayacağını sorun. Satıcıya, manşetindeki sayının iki hatadan hangisini, hangi vakalarda tanımladığını sorun. Testi kendiniz yürütüyorsanız aynı sorular geçerlidir; bkz. yapay zekâ asistanını devreye almadan önce nasıl test edersiniz.

Kesinlik ve duyarlılık düz bir dille#

Kesinlik, aracın verdiği alarmların ne kadarının gerçek olduğudur. Duyarlılık, gerçek vakaların ne kadarının yakalandığıdır.

Kesinlik, doğru pozitiflerin aracın işaretlediği her şeye oranıdır. Örnekte 50 içinde 38, yani yüzde 76: dört alarmdan üçü gerçek, biri boşa bir gezinti. Duyarlılık, doğru pozitiflerin gerçekten acil olan her şeye oranıdır. Örnekte 40 içinde 38, yani yüzde 95: her 100 gerçek sorunun 95'ini yakalar.

Akılda tutmak için: kesinlik aracın çıktısıyla, duyarlılık dünyayla ilgilidir. İşe yaramayan iki araç bunu netleştirir. Her mesajı işaretleyen aracın duyarlılığı yüksek, kesinliği berbattır. Hiçbir şeyi işaretlemeyen aracın duyarlılığı sıfırdır ama temkinli diye sunulabilir.

İkisini tek bir bileşik puanda eritmek, aynı seçimi bir seviye aşağıda gizlemektir. Otel işi için kesinlik ile duyarlılığı ayrı tutun ve yan yana okuyun. Yüzdelerin arkasındaki sayıları her zaman isteyin; küçük sayılarda yüzdeler tek vaka ile çok yer değiştirir. Bu, kesinlik ve duyarlılığın tek bir örnekle açıklanışıdır; aynı okuma size gösterilen her puana uygulanır.

Neden karşılaştırma tabanı bir puandan daha yararlıdır?#

Karşılaştırma tabanı, otelin bugün aynı vakalarda yaptığı iştir; bir puan ancak onun yanında bir anlam taşır.

Bir otelin gerçekten kurabileceği tabanlar: her mesajı okuyan bir kişi; "sızıntı", "bozuk" veya "çalışmıyor" geçen her şeyi bakıma gönderen bir anahtar kelime kuralı; ya da asistansız mevcut kuyruk. Anahtar kelime kuralı 40 acil mesajın 36'sını zaten yakalıyorsa, asistanın 38'i sıfırdan bir sıçrama değil, iki vakalık bir iyileşmedir.

Taban, aynı test setinde, aynı etiketlerle ve aynı puanlama kuralıyla ölçülmelidir; yoksa karşılaştırma anlamsızdır. Taban tersine de korur: otelin zaten yürüttüğü süreçten daha kötü bir satıcı puanı olabilir. Karşılaştırmayı kimin yaptığını sorun; satıcının satıcı hakkında ürettiği bir sayı sonuç değil, başlangıç noktasıdır. Demodan önce tabanı yazılı hale getirin ki demo soruyu sessizce değiştiremesin.

Satın alma öncesi geniş konuşma için bkz. otel için yapay zekâ yazılımı seçerken sağlayıcıya sorulacak sorular.

Yapay zekâ testinde kıyaslama seti ve örneklem büyüklüğü ne demektir?#

Kıyaslama seti, yanıtları bilinen ve araçları ya da modelleri aynı zeminde karşılaştırmak için kullanılan sabit bir vaka kümesidir. Örneklem büyüklüğü ise setin kaç vaka tuttuğunu ve ne tür vakalar tuttuğunu gösterir.

Bir kıyaslama seti üç şeyi sabitler: vakaları, etiketleri ve puanlama kuralını. Sabit bir set olmadan iki puan karşılaştırılamaz, çünkü farklı zeminlerde ölçülmüşlerdir. Örneklem büyüklüğü toplam kadar bileşime de bağlıdır. Kırk aciliyetli 200 vaka, acil bakım hakkında bir şey söyler; üç aciliyetli 200 vaka neredeyse hiçbir şey söylemez, çünkü tek bir vaka duyarlılığı üçte bir oranında oynatır.

Bileşim toplamdan daha önemlidir. Test seti, kolay çoğunluğun yanında, seyrek ve pahalı vakaları gerçekçi sayılarda içermelidir. Bir sonraki soru bulaşmadır: vakalar, araç geliştirilirken kullanıldı mı? Aracın daha önce gördüğü vakalarla test edilmesi, olduğundan iyi görünmesine yol açar. Tuzaklar, yani bilerek zorlaştırılmış vakalar, başka bir dilde yazılmış bir mesaj, şikâyete benzeyen bir espri ya da aynı zamanda arıza talebi olan bir şikâyet, bir puanın gerçek misafirlere dayanıp dayanmadığını gösterir.

AI Otel aynı disiplini kendine de uygular. Hangi modelin hangi katmana uygun olduğuna karar vermek için 30 vakalık bir test seti kurduk: 30 vaka, 5 tuzak, henüz çalıştırılmadı. Sonuçlar ölçüldüğünde yayımlanacak; eğitilmiş bir modelimiz yok. Model seçimi yaklaşımımız yapay zekâ modeli seçimi: AI Otel neden önce ölçecek yazısında, asistanın ait olduğu otel işletim sistemi ise https://ai-otel.com/tr/platform/pms adresinde anlatılıyor.

Otelinizi hangi hata daha çok zorlar?#

Bu, aracın değil görevin özelliğidir: her görev için yanlış alarm mı kaçırılan vaka mı daha pahalı bir hata olduğuna karar verin, sonra onu tanımlayan sayıyı isteyin.

Acil bakım iletiminde kaçırılan vaka, zarar görmüş bir oda ve mutsuz bir misafir demektir; yanlış alarm bir teknisyen yürüyüşü. Duyarlılığa doğru ayarlayın ve artan yanlış alarmları kabul edin. Ek satış tekliflerinde ise az önce şikâyet etmiş bir misafire giden yükseltme teklifi iyi niyeti yakar; kaçan bir teklif bir miktar ciro. Kesinliğe doğru ayarlayın. Fatura ve irsaliyelerin sisteme okutulmasında, deftere işlenen yanlış bir tutar, bir kişinin okuması için gönderilen belgeden kötüdür; belirsiz belgeler tasarım gereği bir kişiye gitmelidir.

Otel raporlarındaki uyarılar aradadır. Çok yanlış alarm olursa personel okumayı bırakır ve sonraki her uyarı kaçırılan vakaya dönüşür; çok az olursa olağan dışı rakam fark edilmeden geçer. Yasal ya da kimlik boyutu olan her şey, örneğin misafir kimlik bildirimi ya da bir mali belge, hiçbir zaman bir doğruluk sorunu olarak ele alınmamalıdır: binadan bir şey çıkmadan önce bir kişi gözden geçirir.

Puanı görmeden kuralı yazın. "Bu görevde kaçırılan vaka, yanlış alarmdan on kat daha kötüdür" gibi bir cümle, satıcının değil otelin verdiği bir karardır. Devreye aldıktan sonra aynı sayılar haftalık olarak, test seti yerine gerçek vakalardan geri gelir; bu yüzden gözden geçirme rutinini kısa ve tekrarlanabilir tutun. Uyarı tarafını anomali tespiti nedir? Otel raporlarında olağan dışı rakamı yakalamak yazısı ele alıyor.

Şimdi ne yapmalı#

Bir sonraki demodan önce, her görev için hangi hatanın size daha pahalı olduğunu tek cümleyle yazın. Sonra kesinlik ve duyarlılığı sayılarıyla, aynı vakalardaki karşılaştırma tabanını ve test setinin büyüklüğü ile bileşimini isteyin. Bu dört yanıt, bir satış yüzdesini savunabileceğiniz bir karara dönüştürür; aynı dört soru devreye aldıktan sonra da, sayılar bir test setinden değil gerçek misafirlerden geldiğinde çalışmaya devam eder. Model seçiminde bu disiplini kendimize nasıl uyguladığımızı görmek isterseniz https://ai-otel.com/tr/iletisim adresinden görüşme talep edin.