Web sitenizin SEO başarısı, arama motoru botlarının (crawler) sitenize erişip içerikleri düzgün tarayabilmesine doğrudan bağlıdır. Özellikle Bingbot, Googlebot, YandexBot gibi büyük arama motorlarına ait botların engellenmesi, sitenizin arama sonuçlarında görünmemesine veya güncellenmemesine neden olabilir.

Bu makalede, popüler botların sitenize erişimini nasıl test edebileceğinizi ve olası engellemeleri nasıl tespit edip düzelteceğinizi anlatıyoruz.

1. Bot Erişimi Test Etme Yöntemi

Aşağıdaki komutlarla, belirli botların sitenizin belirli bir sayfasına erişip erişemediğini test edebilirsiniz. Bu testler terminal veya SSH üzerinden curl komutu ile yapılır:

Bingbot

curl -A "bingbot" -I https://www.ekasunucu.com/bilgi/phpinfo-kullanimi-sistem-yapilandirmasini-anlama

Googlebot

curl -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -I https://www.ekasunucu.com/bilgi/phpinfo-kullanimi-sistem-yapilandirmasini-anlama

YandexBot

curl -A "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" -I https://www.ekasunucu.com/bilgi/phpinfo-kullanimi-sistem-yapilandirmasini-anlama

AhrefsBot

curl -A "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)" -I https://www.ekasunucu.com/bilgi/phpinfo-kullanimi-sistem-yapilandirmasini-anlama

SemrushBot

curl -A "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)" -I https://www.ekasunucu.com/bilgi/phpinfo-kullanimi-sistem-yapilandirmasini-anlama

Sonuçların Yorumlanması

HTTP/1.1 200 OK veya HTTP/2 200 sonucu → Bot erişebiliyor.
403 Forbidden sonucu → Bot erişimi engellenmiş.

2. Bot Erişimi Neden Engellenir?

Eğer bir bot için 403 hatası alıyorsanız, aşağıdaki durumları kontrol etmeniz gerekir:

✅ Cloudflare WAF Kuralları

Cloudflare'da Bot Management, WAF veya Güvenlik Düzeyi (Security Level) çok sıkı olabilir.
WAF kurallarında User-Agent veya IP bazlı engel olabilir.

✅ .htaccess Dosyası

Bazı kullanıcı tanımlı güvenlik kuralları botları User-Agent veya IP üzerinden engelliyor olabilir.

✅ mod_security veya Fail2ban

Apache sunucularda kullanılan mod_security, şüpheli bot hareketlerini engelleyebilir.
SSH saldırılarına karşı Fail2ban, IP’leri bloklamış olabilir.

✅ IP Tabanlı Kısıtlamalar

Botlara ait IP aralıkları firewall veya server ayarlarında kara listeye alınmış olabilir.

3. Sorun Giderme ve Çözüm

Cloudflare Üzerinden

Firewall → Tools → IP Access Rules → Bot IP'sini Allow olarak işaretleyin.
Bot Management → Bot Fight Mode devre dışı bırakılabilir.

.htaccess Düzenlemesi

Engellemeleri kaldırmak için ilgili User-Agent satırlarını silin veya aşağıdaki gibi açık hale getirin:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} !(Googlebot|bingbot|YandexBot) [NC]
RewriteRule .* - [L]

mod_security ve Fail2ban

/etc/modsecurity/ altında kurallar kontrol edilmeli.
/var/log/fail2ban.log ve /var/log/apache2/error.log dosyaları analiz edilmeli.

Arama motoru botlarının sitenize erişimi SEO performansınızı doğrudan etkiler. Yukarıdaki yöntemleri kullanarak erişim problemlerini tespit edip hızla müdahale edebilirsiniz. Erişim sağlandığında sitemap.xml ve robots.txt dosyalarının da düzgün şekilde sunulduğundan emin olun.

Düzenli aralıklarla bu testleri yaparak, bot erişimiyle ilgili olası engelleri erkenden fark edebilir ve çözüme kavuşturabilirsiniz.