Yapay zekâ asistanını devreye aldıktan sonra: haftalık izleme kontrol listesi

Yapay zekâ asistanı izleme, asistanın misafir görüşmelerinden bir örneklemi her hafta okuyup her birini otelin kendi bilgileri, devretme kuralları ve misafirin sonraki adımıyla karşılaştırma alışkanlığıdır. Gereklidir, çünkü devreye alma günündeki testler yalnızca aklınıza gelen soruları sınar; altıncı haftada yeni menüler, yeni fiyatlar ve yeni personel vardır.

Asistan, devreye almadan önce yazdığınız her testi geçti. Altı hafta sonra bir misafir yeni sonbahar menüsünü soruyor ve asistan geçen sezonun fiyatlarıyla, kibarca ve kendinden emin bir dille yanıtlıyor. Hiçbir şey bozulmadı; otel değişti. Bu yazı, bu kaymayı yakalayan haftalık yarım saati anlatıyor: görüşme kayıtları nasıl örneklenir, hatalı yanıt nasıl sınıflandırılır, devretmeler nasıl okunur ve test seti ne zaman yeniden çalıştırılır. Test setiniz henüz yoksa yapay zekâ asistanını devreye almadan önce nasıl test edersiniz yazısıyla başlayın.

Yapay zekâ performans izleme nedir ve altıncı hafta devreye alma gününden neden farklıdır?#

Yapay zekâ performans izleme, asistanın gerçek görüşmelerinden bir örneklemi her hafta okuyup her birini otelin kendi bilgileri, devretme kuralları ve misafirin sonraki adımıyla karşılaştırma uygulamasıdır. Devreye alma günündeki test, asistanı yalnızca sormayı akıl ettiğiniz sorularla sınar. Kendi yazdığınız geçme kurallarına sahip sabit bir vaka setiyle karşılaştırma yapar; bir anlık görüntüdür, çalıştığı gün geçerlidir, ertesi gün değil.

Devreye almadan sonra üç şey yer değiştirir. Otelin bilgileri değişir: menüler, fiyatlar, spa saatleri, sezonluk teklifler. Yönergeler değişir: dil ve ton, neleri reddedeceği, ne zaman bir kişiye devredeceği. Ve bazen asistanın arkasındaki model değişir, tedarikçi güncellediğinde. Dolayısıyla izleme çoğunlukla bilgi izlemedir, model izleme değil. Çalışma kuralı olarak, asistanın akıl yürütmesinden şüphelenmeden önce bilgi formunu kontrol edin: otelle artık örtüşmeyen bir form, elenecek ilk ihtimaldir.

İnceleme üç kısa liste üretir: hemen düzelt (bir misafir bugün yanıltılabilir), bu hafta düzelt ve izle (tek görülme, henüz işlem yok). Bu bir memnuniyet anketi ya da gösterge paneli değildir. Panel kaç görüşme yaşandığını gösterir; yanıtların doğru olup olmadığını göstermez.

İncelemeyi yazılı hale getirin. İz bırakmayan bir inceleme, ertesi haftakiyle karşılaştırılamaz ve değer tam da o karşılaştırmadadır.

Haftalık incelemenin sahibi kimdir ve ne zaman yapılmalıdır?#

Sahibi adı belli bir kişidir, adı belli bir yedeği vardır ve her hafta aynı otuz dakikalık dilimde yapılır. Sahip genellikle ön büro müdürüdür ya da devreye almada aracın sahibi olarak adı geçen kişidir. Genel müdür tek sayfalık notu okur, yazışmaları değil.

Sahibin iki yetkiye ihtiyacı vardır: bilgi formunu değiştirme yetkisi ya da değiştirebilecek kişiye aynı hafta içinde ulaşan bir yol ve bir soru kategorisini kapatıp toplantı beklemeksizin doğrudan bir kişiye yönlendirme yetkisi. Yedek önemlidir, çünkü yoğun bir haftada ilk bırakılan iş incelemedir ve yoğun hafta, asistanın en çok mesaj yanıtladığı haftadır.

Otuz dakikayla sınırlayın, her hafta aynı gün, vardiya çizelgesi kesinleşmeden önce, böylece bulunan sorunlar bulundukları hafta çözülür. Çıktı, üç listeyi ve başvurduğu bilgi formu sürümünü içeren tarihli tek sayfalık nottur; böylece sonraki bir değişiklik, kararın alındığı haftaya geri izlenebilir. Misafire yönelik metni yazan kişi ilk on dakika katılmalı ya da en azından ertesi haftadan önce notu okumalıdır.

İnceleme daha geniş bir denemenin parçasıysa, otelde yapay zekâ denemesi: kapsam, başlangıç ölçümü ve durdurma kuralı yazısındaki disipline katın.

Küçük bir otelde yazışma kayıtları nasıl örneklenir?#

Kurala göre örnekleyin, keyfe göre değil: devretme, şikâyet ya da yinelenen soru içeren her görüşmeyi ve ayrıca sabit sayıda sıradan görüşmeyi okuyun. Saf rastgele örnekleme, önemli hataları gizler, çünkü hatalar eşit dağılmaz; birkaç kategoride yığılır.

Haftanın görüşme sayısı azsa hepsini okuyun. "Belirli bir sayıya kadar hepsi, sonra aşağıdaki kovalar" biçiminde kalıcı bir kural, hacim büyüdükçe örneklemin dürüst kalmasını sağlar. Son mesajı değil bütün yazışmayı okuyun; hata çoğu zaman misafir "hayır, demek istediğim" dedikten sonra asistanın ikinci yanıtındadır.

Misafirin sonra ne yaptığını not edin: rezervasyon yaptı, resepsiyonu aradı, yeniden yazdı ya da yanıtlamayı bıraktı. O sonraki adım, otelin elindeki sonuca en yakın ölçümdür. Asistanın değil misafirin sözlerini okuyun: misafirin ifade biçimi, bilgi formunun eşleşmek zorunda olduğu girdidir ve çözüme yapıştıracağınız şey odur. Örneklemi tarihiyle tek bir yerde tutun; aynı görüşmenin iki ardışık haftada okunması, hiçbir şeyin düzeltilmediğinin kendisi bir sinyalidir.

Devretme kovası için, misafir mesajlarında yapay zekâ: ne zaman personele devredilmeli yazısındaki yönlendirme kuralları, karşılaştırdığınız referanstır.

Hatalı bir yanıt nasıl sınıflandırılır ve onunla ne yapılır?#

Kaynağına göre sınıflandırın, çünkü kaynak çözümü belirler: eksik bilgi, bayat bilgi, yanlış yönerge ya da mevcut ve doğru olan bilginin yanlış okunması. Eksik bilgi, misafirin bilgi formunun hiç kapsamadığı bir şey sorduğu durumdur; çözüm, bilgiyi eklemektir, misafirin kendi ifadesini yanıtlanması gereken soru olarak kullanarak. Bayat bilgi, formun bir şey söylediği ve otelin başka bir şey yaptığı durumdur; çözüm bir ifade düzeltmesi değil, bir değişiklik sürecidir, bu yüzden fiyatın ya da açılış saatinin formdan habersiz neden değiştiğini sorun.

Yanlış yönerge, asistanın bir kişiye yönlendirmesi söylenen soruyu yanıtladığı durumdur; çözüm yönergededir ve büyük olasılıkla geri gelmemesi için yeni bir test vakası eklemektir. Yanlış okunan bilgi durumunda bilgi oradadır ve doğrudur. Bunun, modelin ya da istemin (prompt) şüpheli olduğu tek kategoridir ve bir şeyi değiştirmeden önce birkaç örnek gerekir.

Önem ikinci bir eksendir. Misafirin fark edemediği hatalı yanıt, ertesi mesajda düzelttiği yanıttan daha kötüdür, çünkü yalnızca ikincisi iz bırakır. Misafirin sözlerini, çözümün yanına aynen kaydedin ki ertesi inceleme o ifadeyi arayıp kaybolduğunu doğrulayabilsin. Neyi sakladığınız ve kayıtların kurcalanmayı gösterip göstermediği de önemlidir; bkz. otelde yapay zekâ denetim izi: iyi bir kayıt neleri göstermeli.

Misafirler bir devretme için ne kadar bekledi?#

Misafirin mesajından kişinin ilk yanıtına kadar ölçün, asistanın yanıt hızından değil. Asistan saniyeler içinde yanıtlar; risk, kenara çekildikten sonraki boşluktadır. Her devretme için üç zaman damgası kaydedin: misafir gönderdi, asistan devretti, kişi yanıtladı. Üçüncü eksi ilki, önemli olan sayıdır.

Asistanın kendi hızı bir kalite ölçütü değildir. Hızlı bir yanlış yanıt, yavaş bir doğru yanıttan kötüdür ve boş bir masaya yapılan hızlı devretme ikisinden de kötüdür. Otelin kendi sınırını günün saatine göre belirleyin; örneğin resepsiyon saatlerinde on dakika, gece gelen mesajlar için 09:00'a kadar ilk yanıt. Sınır otelin kararıdır, sektör verisi değil.

Hiç kimsenin üstlenmediği devretmeleri sayın. Misafirlerin hatırladıkları onlardır ve memnuniyet puanına hiç girmezler, çünkü misafir sessizce gider. Her devretmenin nedenini okuyun: bir kategori her seferinde devrediyorsa ya yönerge fazla temkinlidir ya da bilgi eksiktir; ikisi de bu hafta çözülebilir. Son olarak devretme mesajının kendisini kontrol edin: misafir, bir kişinin geleceğini ve ne zaman geleceğini biliyor muydu?

Bilgi formu hangi misafir sorularını kapsamıyor ve personel neyi elle değiştiriyor?#

Yeni sorular listesi incelemenin en değerli çıktısıdır ve personelin elle değiştirdiklerinin örüntüsü, bir misafir fark etmeden önce hangi yönergelerin yanlış olduğunu gösterir. Her yeni soru üç karardan birini alır: bilgi ekle, bir kişiye yönlendiren bir red ekle ya da o konuyu kalıcı olarak bir kişiye bırak.

Bir cevap vermeme listesi tutun: pazarlık, şikâyetler, tıbbi sorular, hukuki sorular, başka bir misafirle ilgili her şey ve otelin söz vermesine izin verilmeyen her şey. Elle değiştirmeler, personelin göndermeden önce düzenlediği taslak yanıtlar ve reddettikleri önerilen eylemlerdir. Bir kategoride yığılma, personel sorunu değil yönerge sorunudur ve elle değiştirmeleri cezalandırmayın; personelin asla elle değiştirmediği bir otel, kimsenin taslakları okumadığı oteldir.

Bilgi formunun bir sahibi, bir sürümü ve bir değişiklik günlüğü olmalıdır ki her çözüm, yapıldığı haftaya izlenebilsin ve yeni bir soruna yol açarsa geri alınsın. Formun boyutunu izleyin: tek uzun belge düzeltmesi yavaş ve testi zor hale gelir; konu başlıklarıyla bölümlere ayırın ki bir değişiklik tek bir alanı dokunsun.

Orijinal test seti ne zaman yeniden çalıştırılmalı?#

Ayda bir ve otelin verisinde, asistanın yönergelerinde ya da arkasındaki modelde herhangi bir değişiklikten sonra, sonuçların karşılaştırılabilmesi için aynı vakalarla. Orijinal test seti, otelin elindeki tek sabit ölçüttür; çalıştırmalar arasında vakaları değiştirmek karşılaştırmayı bozar ve gerilemeleri gizler.

Bir vakayı düzelten değişiklik çoğu zaman bir başkasını bozar. Otoparkla ilgili bir bilgi eklemek, asistanın eskiden bir kişiye yönlendirdiği bir soruyu yanıtlamasına yol açabilir. Sonucun yanına tarihi, bilgi formunun sürümünü ve seti çalıştıran kişiyi kaydedin ki bir başarısızlık belirli bir değişikliğe bağlanabilsin. Zamanla vaka ekleyin ama orijinal seti olduğu gibi koruyun ve yeni vakalardan ayrı raporlayın. Bir çalıştırma önceden geçen bir vakayı başarısız kılıyorsa bunu gerileme sayın ve yeni bir şey eklemeden önce buna neden olan değişikliği bulun.

Aylık çalıştırma, asistanın kapsamının büyümesi, daralması ya da durması kararının da anıdır. Önceden kabul edilmiş bir durdurma kuralı, kötü bir haftada uydurulmuş olandan daha kolay uygulanır.

Şimdi ne yapmalı#

Gelecek haftanın takvimine otuz dakikalık bir dilim koyun, bir sahip ve bir yedek adlandırın ve geçen haftanın görüşmelerinden ilk üç listeyi yazın. Haftalık döngü yazışmaları bilgi formu değişikliklerine çevirir; aylık yeniden çalıştırma, devreye almadan önce sınadığınız aynı vakalardan kurulmuş haliyle, o değişikliklerin çalışan şeyleri bozmadığını kanıtlar.