Halkalı merkez mahallesi fatih cd ozgur apt no 46 , Küçükçekmece , İstanbul , 34303 , TR
Arama crawler’ı, eğitim crawler’ı ve kullanıcı tarafından başlatılan fetcher aynı şey değildir. robots.txt içerik kullanım tercihini ifade eder; WAF, auth ve sunucu güvenliği ayrı katmanlardır. OAI-SearchBot, GPTBot, Google-Extended, Bingbot ve PerplexityBot için amaç bazlı politika oluşturulmalıdır.
Türkiye (Türkçe)
Almanya (German)
Worldwide (English)
Search crawler ≠ training crawler
robots.txt ≠ authentication
User-Agent ≠ verified bot
Allow rules need IP verification
403 and 429 require log analysisArama crawler’ı, eğitim crawler’ı ve kullanıcı tarafından başlatılan fetcher aynı şey değildir. robots.txt içerik kullanım tercihini ifade eder; WAF, auth ve sunucu güvenliği ayrı katmanlardır. OAI-SearchBot, GPTBot, Google-Extended, Bingbot ve PerplexityBot için amaç bazlı politika oluşturulmalıdır.
Marka, sorgu, platform, kaynak URL ve ölçüm tarihini standart biçimde kaydedin.
Robots, WAF, canonical, indeks, structured data ve HTTP yanıtlarını kontrol edin.
Mention, citation, impression, referral ve conversion değerlerini aynı metrik gibi yorumlamayın.
Baseline, değişiklik günlüğü ve tekrar ölçümle hangi hipotezin çalıştığını doğrulayın.
robots.txt dosyasını kimlik doğrulama veya güvenlik duvarı olarak kullanmayın.
Anlamı: Arama görünürlüğü yanlış bot kuralıyla engellenebilir.
Muhtemel neden: OAI-SearchBot/GPTBot veya Googlebot/Google-Extended karışıklığı.
Anlamı: Saldırgan gerçek bot adıyla erişmeye çalışabilir.
Muhtemel neden: Yalnız header’a güvenme.
Anlamı: Robots kuralları kötü niyetli istemcileri durdurmaz.
Muhtemel neden: Robots’un gönüllü protokol olması.
Anlamı: Gerçek crawler güvenlik katmanında engelleniyor.
Muhtemel neden: Bot Fight Mode veya custom rule.
Anlamı: Crawler rate-limit sınırına takılıyor.
Muhtemel neden: Aşırı sıkı global limit.
Anlamı: Google Search görünürlüğünü doğrudan etkilemez.
Muhtemel neden: Gemini eğitim/grounding kontrol tokenı.
Anlamı: Kullanıcı isteğiyle çalışan fetcher’lardır.
Muhtemel neden: Otomatik crawler değildir.
Anlamı: Crawler IP aralıkları değiştiği için erişim bozulabilir.
Muhtemel neden: Statik liste güncellenmedi.
Bu ifadeyle eşleşen kayıt bulunamadı.
curl -sL https://example.com/robots.txt | grep -iE 'Googlebot|Google-Extended|bingbot|OAI-SearchBot|GPTBot|ChatGPT-User|PerplexityBot|Perplexity-User|User-agent|Allow|Disallow' | head -n 200Başlıca arama ve AI tokenlarını listeler.
curl -sS https://openai.com/searchbot.json | python3 -m json.tool | head -n 80OAI-SearchBot IP listesini gösterir.
curl -sS https://www.perplexity.com/perplexitybot.json | python3 -m json.tool | head -n 80PerplexityBot IP listesini gösterir.
grep -E ' (403|429) ' access.log | grep -Ei 'OAI|GPTBot|Perplexity|bingbot|Googlebot' | tail -n 100Botlara verilen engel ve rate-limit response’larını arar.
awk -F'"' '{print $6}' access.log | grep -Ei 'bot|crawler|ChatGPT|Perplexity' | sort | uniq -c | sort -nr | head -n 60AI/crawler user-agent yoğunluğunu gösterir.
grep -RniE 'location .*admin|auth_basic|deny all|allow ' /etc/nginx 2>/dev/null | head -n 80Private alanların gerçek auth/ACL ile korunmasını kontrol eder.
User-agent: * Disallow: /OAI-SearchBot Allow; GPTBot Disallow; diğer arama botlarını iş hedefinize göre yönetrobots.txt ile /admin gizlidir/admin için auth, IP ACL, CSRF ve WAF uygulaUser-agent contains GPTBot → allowUser-agent + resmî IP doğrulaması + sınırlı route erişimiTüm botları limitsiz bırakDoğrulanmış crawler için ölçülü limit, anomali alarmı ve log tutUser-agent: Googlebot
Allow: /
User-agent: bingbot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Disallow: /admin/
Disallow: /musteri-paneli/
Sitemap: https://example.com/sitemap.xmlOAI-SearchBot ve GPTBot bağımsız robots kontrolleridir.
Googlebot Search için, Google-Extended farklı Gemini kullanımları için kontrol tokenıdır; Bingbot indeks erişimi sağlar.
PerplexityBot ile Perplexity-User farklı amaçlara sahiptir.
Hayır. Teknik uygunluk, erişim, içerik kalitesi ve ölçüm geliştirilebilir; kaynak gösterimi ve AI cevabı platformların dinamik sistemlerine bağlıdır.
Hayır. Crawl, indeks, canonical, içerik kalitesi ve site güvenilirliği GEO çalışmalarının temelidir.
Hayır. Topluluk önerisidir; Google Search özel görünürlük sinyali olarak kullanmadığını belirtir.
Google AI özellikleri için özel schema yoktur. Desteklenen structured data, görünür içerikle uyumlu biçimde kullanılmalıdır.
Hayır. Bot erişimi yalnız keşif ve retrieval uygunluğu sağlar; kaynak seçimi garanti edilmez.
AI impression, mention, citation, cited URL, referral, assisted conversion ve cevap doğruluğu birlikte ölçülmelidir.
Sabit süre yoktur. Crawl yenilemesi, platform kapsamı, içerik değişikliği ve kullanıcı talebine göre farklılık gösterir.
Google AI, ChatGPT Search, Bing Copilot ve Perplexity için bot erişimi, içerik, entity, citation ve ölçüm süreçlerini denetliyoruz. Kesin kaynak gösterimi veya sıralama garantisi vermiyoruz.