Halkalı merkez mahallesi fatih cd ozgur apt no 46 , Küçükçekmece , İstanbul , 34303 , TR
AI bot trafiğini ölçme, crawler bazında Allow / Block / Charge kararı verme ve Cloudflare Pay Per Crawl modelini SEO, maliyet ve güvenlik boyutuyla açıklayan güncel teknik rehber.
Komutları canlı sistemde uygulamadan önce sürüm, yedek, firewall ve geri dönüş planını kendi altyapınızda doğrulayın.
Cloudflare Pay Per Crawl, AI Crawl Control içinde site sahibinin crawler erişimini Allow, Block veya Charge olarak yönetmesine imkân verir. Ücretli akışta ödeme koşulu sağlanmadığında 402 Payment Required yanıtı devreye girebilir; arama motoru crawler’larıyla AI crawler politikasını karıştırmamak kritik.
Cloudflare Pay Per Crawl, AI Crawl Control içinde site sahibinin crawler erişimini Allow, Block veya Charge olarak yönetmesine imkân verir. Ücretli akışta ödeme koşulu sağlanmadığında 402 Payment Required yanıtı devreye girebilir; arama motoru crawler’larıyla AI crawler politikasını karıştırmamak kritik.
Kurulum komutundan öte mimari, kapasite, güvenlik, hata teşhisi ve production işletimini tek akışta ele alıyoruz.
AI crawler trafiğini yalnız robots.txt satırlarından değil, edge katmanındaki gözlem ve aksiyonlarla yönetilebilir hale getirir. Önce hangi botun hangi URL gruplarını ne sıklıkta taradığı anlaşılmalıdır.
Kör şekilde bütün AI botlarını kapatmak yerine bot amacı, içerik değeri, origin maliyeti ve dağıtım hedefi üzerinden politika hazırlanmalıdır.
Cloudflare dokümantasyonunda site sahibinin zone için fiyat belirleyebildiği ve seçili crawler’ları Charge durumuna alabileceği açıklanıyor.
Başarılı ücretli erişimde ödeme niyeti/header akışı kullanılır; gereksinim karşılanmazsa 402 Payment Required ve fiyat bilgisinin yer aldığı yanıt söz konusu olabilir.
Search crawler, model training crawler ve kullanıcı isteğiyle çalışan AI user-agent aynı amaçta değildir. Her bot için iş gerekçesi yazılmalı; organik keşif açısından kritik arama botları yanlışlıkla AI policy kapsamına alınmamalıdır.
Charge kararı otomatik gelir garantisi değildir; crawler talebi ve içerik dağıtımı üzerindeki etkisi ayrıca ölçülür.
robots.txt uyumlu botlara tarama talimatı verir; gerçek firewall değildir. Cloudflare edge aksiyonları ise isteğe verilen HTTP cevabını değiştirebilir.
Tanı sırasında “robots Disallow” ile “edge 403/402” ayrımını kaydedin. Aynı URL için robots, WAF event ve origin logu birlikte okunmalıdır.
Global user-agent veya WAF kuralı yazmadan önce Googlebot ve diğer arama crawler’larının kapsam dışında kaldığını doğrulayın.
Değişiklik sonrası Search Console crawl/index sinyalleri ile Cloudflare analytics birlikte izlenirse yanlış block daha erken fark edilir.
Crawler sayısı, başarılı ücretli erişim, origin bandwidth, cache hit ve içerik üretim maliyeti aynı raporda tutulmalıdır.
Bir botun crawl hacmi Charge sonrasında sert düşüyorsa gelir kadar içerik dağıtımı etkisi de değerlendirilmelidir.
Önce gözlem, sonra düşük riskli URL grubunda kontrollü aksiyon, ardından kapsam genişletme yaklaşımı production riskini azaltır.
Her politika değişikliğinde bot, path, aksiyon, tarih ve rollback koşulu kaydedilmelidir.
EkaSunucu aylık anonim AI crawler istatistiği yayınlayabilir: bot dağılımı, en çok taranan içerik türü, cache hit, 200/402/403 oranı ve politika değişimi sonrası trafik.
Metodolojisi açık gerçek veri, genel “AI bot nedir?” makalesinden çok daha kaynak gösterilebilir bir varlıktır.
Cloudflare Pay Per Crawl, AI Crawl Control içinde site sahibinin crawler erişimini Allow, Block veya Charge olarak yönetmesine imkân verir. Ücretli akışta ödeme koşulu sağlanmadığında 402 Payment Required yanıtı devreye girebilir; arama motoru crawler’larıyla AI crawler politikasını karıştırmamak kritik.
| Belirti / problem | Muhtemel katman | İlk doğrulama |
|---|---|---|
| AI botu kapattım Google trafiği düştü | Yanlış user-agent veya WAF kapsamı olabilir. | Kural diff ve Search crawler kapsamı incelenir. |
| 402 beklenmeyen URL’de | Charge kapsamı geniş olabilir. | Zone/path aksiyonları doğrulanır. |
| robots Allow ama bot erişemiyor | Edge kuralı engelliyor olabilir. | WAF/AI Crawl Control event logu kontrol edilir. |
| Origin yükü düşük istek çok | Cache hit yüksek olabilir. | Edge request ve origin request ayrılır. |
| Bot kimliği belirsiz | User-Agent tek başına kesin kimlik değildir. | Cloudflare sınıflandırması ve vendor bilgisi kontrol edilir. |
Kurulum komutundan öte mimari, kapasite, güvenlik, hata teşhisi ve production işletimini tek akışta ele alıyoruz.
Politika değiştirmeden baz çizgi çıkar.
Search, training, user-triggered sınıflandır.
Ürün, doküman, API, medya.
Her karar için gerekçe ekle.
Önce düşük riskli path.
Edge ve origin verisini karşılaştır.
Özgün veri üret.
Kurulum komutundan öte mimari, kapasite, güvenlik, hata teşhisi ve production işletimini tek akışta ele alıyoruz.
Türkiye (Türkçe)
Almanya (German)
Worldwide (English)
curl -s https://alanadiniz.com/robots.txtcurl -I -A "GPTBot" https://alanadiniz.com/curl -I -A "ClaudeBot" https://alanadiniz.com/curl -I https://alanadiniz.com/Mevcut altyapınızın sürüm, kaynak, güvenlik ve geri dönüş koşullarını inceleyerek canlı değişiklik öncesi teknik ön değerlendirme yapabiliriz.
Kurulum komutundan öte mimari, kapasite, güvenlik, hata teşhisi ve production işletimini tek akışta ele alıyoruz.
Kurulum komutundan öte mimari, kapasite, güvenlik, hata teşhisi ve production işletimini tek akışta ele alıyoruz.
Cloudflare Pay Per Crawl, AI Crawl Control içinde site sahibinin crawler erişimini Allow, Block veya Charge olarak yönetmesine imkân verir. Ücretli akışta ödeme koşulu sağlanmadığında 402 Payment Required yanıtı devreye girebilir; arama motoru crawler’larıyla AI crawler politikasını karıştırmamak kritik.
AI Crawl Control içinde seçili AI crawler erişimini ücretlendirmeyi sağlayan özelliktir.
Cloudflare FAQ’sında Charge seçilen crawler’lar için tek fiyat modeli açıklanır; aksiyon bot bazında seçilebilir.
Payment Required HTTP yanıtıdır.
Hayır, farklı kontrol katmanlarıdır.
Arama crawler politikası AI crawler politikasından ayrı değerlendirilmelidir.
Production ortamında önce ölçüm ve dar kapsamlı test daha güvenlidir.
Mevcut altyapınızın sürüm, kaynak, güvenlik ve geri dönüş koşullarını inceleyerek canlı değişiklik öncesi teknik ön değerlendirme yapabiliriz.