Otel web sitesi yapay zekâ botlarına açık mı olmalı? robots.txt kararları

robots.txt, alan adınızın kökünde duran ve otomatik ziyaretçilere, yani tarayıcılara hangi sayfaları okuyabileceklerini söyleyen düz metin dosyasıdır. Bu bir kilit değil, bir ricadır. Kararı amaca göre verin: arama tarayıcılarını içeride tutun, eğitim amaçlı toplayıcıları ve asistanların soru anında kullandığı okuyucuları ayrı ayrı değerlendirin.

Örneğin bir ajans, yapay zekâ botlarını engelleme amacıyla otelin robots.txt dosyasına tek bir satır ekler ve otel, gezginler bir asistana oda sorunca aldıkları yanıtların arasından sessizce düşebilir. Hiçbir şey bozulmaz, hata mesajı çıkmaz ve aylarca kimse fark etmeyebilir. Bu yazının sonunda sitenizi ziyaret eden üç tür otomatik okuyucuyu adlarıyla tanıyacak, sitenizin, güvenlik duvarınızın ve rezervasyon motorunuzun bugün gerçekte neye izin verdiğini kontrol edebilecek ve kararı bir sonraki site yenilemesinden sağlam çıkacak biçimde yazıya geçirebileceksiniz.

Bir otel web sitesini bugün aslında kimler okuyor?#

Otel sitesine üç tür otomatik okuyucu gelir ve hepsi farklı şeyler ister: arama sonuçlarının arkasındaki dizini kuran arama tarayıcıları, gelecek modelleri eğitmek için metin toplayan eğitim amaçlı toplayıcılar ve bir gezgin soru sorduğu anda sayfayı okuyan getiriciler.

Arama tarayıcıları sayfaları, listelenip sıralanabilsin diye çeker. Google'ın belgeleri, son güncelleme 30 Ekim 2026, Googlebot kullanıcı aracısına yazılan kuralların Discover ve tüm Arama özellikleri dâhil Google Arama'yı, ayrıca Google Görseller, Video modu ve Google Haberler gibi ürünleri etkilediğini söyler. Bu okuyucuyu engellerseniz sayfalarınız okunmaz ve zamanla dizinden çıkar.

Eğitim amaçlı toplayıcılar, gelecek modelleri geliştirmek için içeriği toplu hâlde toplar. Google bunu ayrı bir tarayıcıyla değil, ayrı bir robots.txt belirteciyle yönetir; bu yüzden tek bir ziyaret iki amaca hizmet edebilir: yapılan çekim arama dizinini besler, toplanan içerik ise belirteci nasıl ayarladığınıza bağlı olarak model eğitimini besler ya da beslemez.

Getiriciler ise soru anında çalışır. Gezgin belli bir sokağın yakınında havuzlu bir otel ister ve yanıt kurulurken sayfa o anda okunur. Bu okuyucuyu engellemek, bir asistanın tesisiniz hakkında ne söyleyebileceğini değiştirir; bu, bir modelin metninizle eğitilip eğitilmediğinden ayrı bir sorudur. Bu kaymaya yeni başlıyorsanız gezgin sormaya başlayınca ne değiştiğine önce oradan bakın.

İki pratik uyarı. Birincisi, aynı şirket birkaç ad altında görünebilir ve tek bir sağlayıcı tüm tarayıcılarını listeleyen bir sayfa yayımlayabilir; güvenilir kaynak o sayfadır, bir blog yazısı ya da ajansın hafızası değil. Google'ın kendi sayfası, kullanıcı aracısı dizelerinin taklit edilebileceği uyarısını yapar; dolayısıyla kayıtlardaki bir ad, kimliğin kanıtı değil, iddianın kanıtıdır. İkincisi, otelin rezervasyon yolu çoğu zaman pazarlama sitesinden farklı bir sunucuda, kendi dosyası ve kendi ayarlarıyla durur; "web sitesini kontrol ettik" cümlesi ancak yarım bir kontroldür.

Diğer sağlayıcılar kendi tarayıcı sayfalarını yayımlar; kopyalanmış bir listeden değil, sağlayıcının kendi sayfasından okuyun.

robots.txt nedir, düz bir dille?#

robots.txt, bir alan adının kökünde sunulan ve tarayıcının sayfaları istemeden önce okuduğu düz metin dosyasıdır; kuralları kullanıcı aracısına göre gruplar ve o aracın hangi yolları çekip çekemeyeceğini söyler.

Yapısı basittir: bir user-agent satırı tarayıcıyı adlandırır, altındaki allow ve disallow satırları yolları listeler. Adı eşleşmeyen bir grup, o tarayıcı için yok sayılır. Dosyanın yönettiği şey okumadır, listeleme değil: bir kural tarayıcının sayfayı okumasını durdurur; dizinde duran bir sayfayı çıkarmaz ve hiçbir şeyi kilitlemez.

Dosya herkese açıktır. Rakip dâhil herkes okuyabilir; dolayısıyla otelin görünmez tutmak istediğini de ilan eder. İsteye bağlıdır: dosyayı yok sayan bir tarayıcı, kural nazik ya da kesin yazılmış olsun yok sayar; yaptırımın yeri güvenlik duvarı ya da giriş ekranıdır, metin dosyası değil. Ve sunucu başına geçerlidir: bir alt alan adı, bir test sitesi ve kendi alan adındaki rezervasyon motorunun her birinin kendi dosyası vardır; birine yazılan kural diğerlerine taşınmaz.

robots.txt, insanların sorduğu tek dosya da değil. llms.txt farklı bir amaç için önerilmiş bir dosyadır ve asistan erişimini açıp kapatan bir anahtar değildir; sitenize bir şey eklemeden önce llms.txt'nin ne olduğunu ve ne yapmadığını okuyun.

Sitenizin şu anda neye izin verdiğini nasıl kontrol edersiniz?#

Önce dosyayı okuyun, sonra önündeki her katmanı kontrol edin; çünkü bir güvenlik duvarı ya da güvenlik ayarı, robots.txt hiç okunmadan önce bir tarayıcıyı engelleyebilir.

Ana alan adının robots.txt adresini tarayıcıda açın. Dosya herkese açık olduğundan bunun için giriş ya da ajans talebi gerekmez; her user-agent grubunu okuyun ve hangilerinin tüm siteyi kapattığını yazıya geçirin. Aynı kontrolü rezervasyon motorunun sunucusunda ve gerçek içerik sunan her alt alan adında yineleyin; her sunucu ayrı yanıt verir.

Ardından güvenlik duvarının, CDN'in ya da güvenlik eklentisinin otomatik ziyaretçilere ne yaptığını sorun. Tarayıcı dışındaki her şeyi kapatan bir bot koruma kuralı, herhangi bir robots.txt satırından daha katıdır ve sessizce onu geçersiz kılar. Sayfa düzeyindeki sinyalleri de kontrol edin: sayfanın kendi içindeki noindex yönergesi, robots.txt taramaya izin verse bile sayfayı dizinden uzak tutar; ve bu iki ayarı çoğu zaman farklı kişiler değiştirir.

Ajans değişiklik geçmişini isteyin: hangi kuralı kim, hangi tarihte, neden ekledi. Sahibi olmayan kural, kimsenin yeniden gözden geçirmeyeceği kuraldır. Sunucu kayıtları varsa, gerçekte hangi kullanıcı aracılarının geldiğine ve hangilerinin reddedildiğine bakın; bu, amaçlanan değil gerçekleşen davranışı gösterir. Daha geniş güvenlik resmi için işletme sahibi ve genel müdür için siber güvenlik kontrol listesi aynı katmanları ayrıntısıyla ele alır.

Yapay zekâ botlarını engelleme: eğitim tarayıcıları kapatılmalı mı?#

Bu teknik değil, iş kararıdır ve gezginlerin sorularını yanıtlama kararından ayrı verilebilir; çünkü eğitim amaçlı kullanım ile yanıt amaçlı kullanım, farklı denetimlerle yönetilen farklı amaçlardır.

Google için eğitim kararı, Google-Extended adlı ayrı bir robots.txt belirteciyle verilir. Google'ın tarayıcı belgeleri (yeni sekmede açılır), son güncelleme 30 Ekim 2026, bu belirtecin kendine ait bir HTTP kullanıcı aracısı dizesi olmadığını ve taramanın mevcut Google kullanıcı aracılarıyla yapıldığını söyler. Aynı sayfa, Google-Extended'ın yayıncıların, taranan içeriğin gelecek Gemini modellerinin eğitiminde kullanılıp kullanılamayacağını yönetmesini sağladığını ve Gemini Apps'te ve Vertex AI'daki Grounding with Google Search'te dayanak olarak kullanımı da kapsadığını belirtir.

Aynı sayfa ayrıca Google-Extended'ın sitenin Google Arama'da yer almasını etkilemediğini ve sıralama sinyali olarak kullanılmadığını söyler; yani eğitim seçimi ile arama seçimi kendi gerekçeleriyle tartışılabilir. Ödün iki yönde de gerçektir: Google'ın ifadesine göre eğitimi engellemek aramada ölçülebilir bir bedele yol açmaz, ama tesisini hiç okumamış bir model onu hafızasından anlatamaz. İki seçimin rezervasyonlara etkisine dair doğrulanmış bir sayı yoktur; o yüzden karar bir vaade değil, ilkeye dayanarak verilmelidir.

Terminoloji hareket hâlinde. Google ve diğer sağlayıcılar, eğitim verisi tercihleri için teknik standartlarını geliştiriyor; bir kural yazmadan önce her sağlayıcının kendi resmî belgesindeki güncel adları ve denetimleri okuyun ve forumdan kopyalanmış ad listeleri asla kullanmayın. Bugünkü yanıt tarihli bir karardır, kalıcı değil. Bir asistanın oteliniz hakkında ne söylediği, bulduğu bilgilere de bağlıdır; bu ayrı sorun yapay zekâ asistanlarının otelinizi doğru anlatması konusunda ele alınır.

Hangi sayfalar her dizinin dışında kalmalı?#

Personel alanları, test ve hazırlık sayfaları, iç belgeler ve bağlantısında belirteç taşıyan her şey tüm dizilerin dışında kalmalıdır; kişisel veri içerenler ise tarayıcı kuralı değil, giriş ekranı ister.

Yönetim ve personel yolları bir dizine hiçbir biçimde ait değildir; ayrıca bir siteyi yoklayan biri tarafından en kolay bulunacak sayfalar da bunlardır. Test sayfaları, eski kampanya açılış sayfaları ve hazırlık alt alan adları hem arama motorlarını hem asistanları şaşırtır; çünkü aynı teklifin iki sürümü birbiriyle yarışır.

Misafir belgeleri, faturalar ve rezervasyon ekranları kimlik doğrulama ve tahmin edilemeyecek bağlantılarla korunmalıdır; herkese açık bir adresteki robots.txt satırı hiçbir şeyi korumaz ve kişisel veri yükümlülükleri dosyada ne yazdığına bakmaksızın geçerlidir. Katmanlar arasında tutarlı olun: robots.txt ile engellenmiş ama menüden bağlantılanmış bir sayfa, sonuçlarda çıplak bir adres olarak yine görünebilir; çünkü kural okumayı durdurur, listelemeyi değil.

Ajansa, yanına gerekçesi de yazılmış biçimde, asla dizine girmemesi gereken yolların tek bir yazılı listesini verin; böylece gelecekteki bir yenileme onları sessizce yeniden açmaz.

Her maddenin yanına neyin koruduğunu yazın: robots.txt kuralı, noindex etiketi, giriş ekranı ya da üçü birden. Gerçekten koruyan yalnızca son ikisidir.

Kararı yazıya geçirin ve yılda iki kez gözden geçirin#

Amacı, belirteci, onaylayan kişiyi ve tarihi belirten tek bir sayfa yazın; sonra her altı ayda bir ve ajans, güvenlik duvarı ya da rezervasyon motoru her değiştiğinde gözden geçirin.

Sayfa dört soruyu yanıtlamalı: ne taranabilir, ne eğitim için kullanılabilir, soru anında ne okunabilir ve her birine kim karar vermiştir. Yılda iki sabit gözden geçirme tarihi belirleyin ve değişiklik tetikleyicileri ekleyin: yeni web sitesi, yeni ajans, yeni güvenlik duvarı, yeni rezervasyon motoru sunucusu ya da bir sağlayıcının yeni bir tarayıcı ya da belirteç duyurması.

Her gözden geçirmede tüm robots.txt dosyalarını yeniden alın, güvenlik duvarının davranışını yeniden kontrol edin ve sağlayıcıların kendi tarayıcı sayfalarını yeniden okuyun; adlar ve denetimler iki tarih arasında değişir. Kaydı, bir genel müdürün iki dakikada okuyabileceği kadar kısa tutun; kimse yeniden anlatamadığı bir karar, kazayla tersine çevrilecek bir karardır. robots.txt ya da bot ayarlarındaki açıklanamayan her değişikliği bir olay sayın ve ajanstan bu tür değişiklikleri canlıya geçmeden önce bildirmesini isteyin.

Şimdi ne yapmalı#

Bugün robots.txt dosyanızı açın, bulduğunuz her user-agent grubunu listeleyin ve ajansınıza tek bir yazılı soru gönderin: güvenlik duvarı neyi engelliyor, rezervasyon motorunun kendi sunucusu neye izin veriyor? Bu tek kontrol, yapay zekâya dair belirsiz bir kaygıyı; sahibi siz olan, genel müdürünüze anlatabileceğiniz ve sabit bir tarihte yeniden gözden geçirebileceğiniz bir karara dönüştürür.