WordPress’te yapay zekâ botları için robots.txt: on beş user-agent, her birinin işi ve bizim seçimimiz

“robots.txt’de yapay zekâyı engelleme” tavsiyelerinin çoğu her yapay zekâ user-agent’ını aynı şeymiş gibi ele alır. Değiller. Bazıları gelecek modelleri eğitmek için sayfalarınızı kopyalar. Bazıları bir asistanın sizi alıntılayıp bağlayabilmesini belirleyen dizini kurar. Bazıları tarayıcı bile değil; bir şirkete zaten çektiği sayfalarla ne yapabileceğini söyleyen anahtarlar. Birkaçı ise yalnızca bir insan istediği için bir sayfa açar ve şirketleri robots.txt’nin onları bağlamadığını söyler. Yanlış kategoriyi engellemek hiçbir şeyi korumadan sizi yapay zekâ cevaplarından siler. Bu, 30 Eylül 2026’da her şirketin kendi belgelerinden okuduğumuz liste ve postiada.com/robots.txt‘de yayımladığımız dosya.

Hangi yapay zekâ user-agent’ları var, kim işletiyor?

Birkaç satır not hak ediyor; çünkü adlar yanıltıyor.

• OpenAI üç tane belgeliyor: GPTBot eğitim verisi toplar; OAI-SearchBot ChatGPT araması için dizinler; ChatGPT-User bir kullanıcının eylemi gerektirdiğinde sayfa çeker. Aralık 2025’te OpenAI belgeleri güncelleyip bu çekimler kullanıcı tarafından başlatıldığı için robots.txt kurallarının ChatGPT-User’a “uygulanmayabileceğini” ve OAI-SearchBot’un eğitimle tamamen ayrıldığını yazdı (değişikliğin özeti).
• Anthropic aynı ayrımı yansıtıyor: eğitim için ClaudeBot, arama kalitesi için Claude-SearchBot, kullanıcı istekleri için Claude-User — ve üçünün de robots.txt’ye uyduğunu söylüyor (Anthropic’in tarayıcı sayfası). anthropic-ai ve Claude-Web gibi eski anahtarlar bizimki dahil pek çok robots.txt’de hâlâ duruyor; tutmanın zararı yok.
• Perplexity: PerplexityBot arama sonuçları için dizinler ve “yapay zekâ temel modelleri için içerik taramada kullanılmaz”; Perplexity-User belirli bir soruyu cevaplamak için sayfayı ziyaret eder ve şirketin ifadesiyle “genellikle robots.txt kurallarını yok sayar” (Perplexity tarayıcı belgeleri).
• Google-Extended bir tarayıcı değil. Sayfayı Googlebot çeker; anahtar yalnızca içeriğin Gemini modellerini eğitmek ve temellendirmek için kullanılıp kullanılamayacağını belirler. Engellemek taramayı, dizinlemeyi, sıralamayı, AI Overviews’u ya da AI Mode’u değiştirmez — bunlar sıradan dizinden beslenen Arama özellikleri.
• Applebot-Extended aynı fikir. Applebot Siri, Spotlight ve Safari önerilerini besler; Applebot-Extended “web sayfalarını taramaz”, yalnızca Applebot’un verisinin Apple’ın temel modellerini eğitip eğitemeyeceğine karar verir (Applebot hakkında).
• Meta dört tane yayımlıyor: bağlantı önizlemeleri için facebookexternalhit, Meta AI arama kalitesi için Meta-WebIndexer, eğitim ve dizinleme için Meta-ExternalAgent, kullanıcının istediği bağlantılar için Meta-ExternalFetcher — sonuncusu “robots.txt’yi atlayabilir” (Meta web tarayıcıları).
• DuckAssistBot DuckDuckGo’nun yapay zekâ destekli cevapları için sayfaları gerçek zamanlı çeker, verinin eğitimde kullanılmadığını belirtir ve bir değişikliğe uyması 72 saate kadar sürer. Amazonbot “Amazon yapay zekâ modellerini eğitmek için kullanılabilir” ve robots.txt’ye uyar. CCBot Common Crawl: pek çok modelin üzerinde eğitildiği kamuya açık derlem.

Bunlar neden üç ayrı karar?

Eğitim tarayıcıları metninizi bir sonraki modele taşır. Engellemek bugün aramayı etkilemez; asistanların canlı sayfalarınızı alıntılayabilmesini de etkilemez; yalnızca metninizi gelecek modellerin eğitim kümesinden çıkarır. Ücretli içeriği olan yayıncıların engellemek için iyi sebepleri var; gelecek yılın modelleri tarafından doğru anlatılmak isteyen bir işletmenin engellememek için.

Arama ve yanıt dizinleri bulunmak için önemli olanlar. OAI-SearchBot, Claude-SearchBot, PerplexityBot, Meta-WebIndexer ve DuckAssistBot asistanlarının alıntı yaptığı dizinleri kurar. Bunları engellerseniz o platformlardaki yapay zekâ cevaplarından çıkmış olursunuz — asistan adınızı eğitim verisinden hâlâ bilebilir ama size bağlantı veremez.

Kullanıcı isteğiyle çekenler en iyi tarayıcı (browser) olarak düşünülür. Biri ChatGPT’den fiyat sayfanızı özetlemesini istediğinde ChatGPT-User onu bir kez açar. Birkaç şirket robots.txt’nin bu çekimleri bağlamadığını söylüyor; dolayısıyla onlar için kural yazmanın pek anlamı yok. Bir sayfanın istek üzerine okunmasını istemiyorsanız yayımlamayın.

Bizim robots.txt’miz nasıl görünüyor?

Hepsine açıkça izin veriyoruz. Dosya Rank Math’in robots.txt düzenleyicisinden yönetiliyor (Genel Ayarlar → Edit robots.txt); WordPress kullanıcılarının düzenlemesi gereken tek yer orası — web kökündeki fiziksel bir dosya eklentininkini sessizce geçersiz kılar.

# postiada.com robots.txt
# Search engines and AI assistants are welcome to crawl the public site.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /?s=
Disallow: /search/

# AI crawlers, assistants and usage tokens — allowed explicitly.
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: meta-externalagent
Allow: /
User-agent: CCBot
Allow: /
# … ayrıca Claude-Web, anthropic-ai, Perplexity-User, Applebot, Bingbot, DuckAssistBot, Amazonbot

Sitemap: https://postiada.com/sitemap_index.xml

Bu dosyada iki şey bilinçli. Açık Allow: / blokları teknik olarak gereksiz — * grubu yönetim, giriş ve arama yolları dışında her şeye zaten izin veriyor — ama adlandırılmış bir grup görünür bir niyet beyanı ve kararı, ileride toptan bir engel ekleyebilecek bir eklenti varsayılanından korur. Site geneli kurallar iç arama sonuçlarını kapatıyor; çünkü o sayfalar sonsuz, ince ve yapay zekâ olsun olmasın hiçbir tarayıcı için bir dizin yerine değmez.

Eğitim tarayıcılarına neden izin? Postiada’nın bütün iddiası, belirli, kaynaklı, kontrol edilebilir metnin asistanlar tarafından alıntılanması. Sayfalarımızı okumuş bir model bizi, yalnızca başkalarının hakkımızda yazdıklarını okumuş bir modelden daha doğru anlatır. Bu bizim ödünleşimimiz; bir gazeteninki farklı ve bir robots.txt şablonu değil işi izlemeli.

WordPress’te robots.txt güvenle nasıl düzenlenir?

1. Önce fiziksel dosya var mı bakın. Diskte /robots.txt varsa WordPress ve eklentileri kendilerininkini sunamaz. Eklentide düzenlemeden önce silin ya da taşıyın.
2. Tek yerden düzenleyin. Rank Math: Genel Ayarlar → Edit robots.txt. Yoast: Araçlar → Dosya düzenleyici. İkisini birden sürdürmeyin.
3. Site haritası satırını koruyun. Yukarıdaki tablodaki her tarayıcı onu okur.
4. Dışarıdan doğrulayın. Gizli pencerede https://alanadiniz/robots.txt çekip değişikliğin canlı olduğunu görün; CDN eski sürümü bir süre tutabilir. Tarayıcılar da önbellekler — Meta 24 saate kadar diyor, DuckDuckGo 72.
5. Gizlilik için robots.txt’ye güvenmeyin. Bu, iyi niyetli tarayıcıların uyduğu bir rica. Okunmaması gereken şey engel satırı değil kimlik doğrulama ister.

Bir asistanın sizi bulabilmesi işin yarısı; sizi doğru alıntılayabilmesi öbür yarısı. llms.txt yazısı sitenizi ajanlara anlatan dosyayı, bu yazı sayfaların kendisinin nasıl yazılması gerektiğini anlatıyor. İkisi de Postiada’nın yayın yaptığı siteler için kurduğu şeyler.