Der SEO-Erfolg Ihrer Website hängt direkt davon ab, ob Suchmaschinen-Bots (Crawler) auf Ihre Website zugreifen und die Inhalte ordnungsgemäß crawlen können. Insbesondere die Blockierung von Bots großer Suchmaschinen wie Bingbot, Googlebot und YandexBot kann dazu führen, dass Ihre Website nicht in den Suchergebnissen angezeigt oder aktualisiert wird.

In diesem Artikel erklären wir, wie Sie den Zugriff beliebter Bots auf Ihre Website testen und wie Sie mögliche Blockierungen erkennen und beheben können.

1. Methode zum Testen des Bot-Zugriffs

Mit den folgenden Befehlen können Sie testen, ob bestimmte Bots auf eine bestimmte Seite Ihrer Website zugreifen können. Diese Tests werden über das Terminal oder SSH mit dem Befehl curl durchgeführt:

Bingbot

curl -A "bingbot" -I https://www.ekasunucu.com/bilgi/phpinfo-kullanimi-sistem-yapilandirmasini-anlama

Googlebot

curl -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -I https://www.ekasunucu.com/bilgi/phpinfo-kullanimi-sistem-yapilandirmasini-anlama

YandexBot

curl -A "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" -I https://www.ekasunucu.com/bilgi/phpinfo-kullanimi-sistem-yapilandirmasini-anlama

AhrefsBot

curl -A "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)" -I https://www.ekasunucu.com/bilgi/phpinfo-kullanimi-sistem-yapilandirmasini-anlama

SemrushBot

curl -A "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)" -I https://www.ekasunucu.com/bilgi/phpinfo-kullanimi-sistem-yapilandirmasini-anlama

Interpretation der Ergebnisse

HTTP/1.1 200 OK oder HTTP/2 200 Ergebnis → Der Bot kann zugreifen.
403 Forbidden Ergebnis → Der Bot-Zugriff ist blockiert.

2. Warum wird der Bot-Zugriff blockiert?

Wenn Sie für einen Bot einen 403-Fehler erhalten, sollten Sie die folgenden Punkte überprüfen:

✅ Cloudflare WAF-Regeln

Bot Management, WAF oder Sicherheitsstufe (Security Level) in Cloudflare sind möglicherweise zu streng eingestellt.
In den WAF-Regeln kann eine User-Agent- oder IP-basierte Blockierung vorliegen.

✅ .htaccess-Datei

Einige benutzerdefinierte Sicherheitsregeln blockieren möglicherweise Bots über den User-Agent oder die IP-Adresse.

✅ mod_security oder Fail2ban

mod_security, das auf Apache-Servern verwendet wird, kann verdächtige Bot-Aktivitäten blockieren.
Fail2ban kann IP-Adressen aufgrund von SSH-Angriffen blockiert haben.

✅ IP-basierte Einschränkungen

IP-Bereiche, die zu Bots gehören, können in Firewall- oder Servereinstellungen auf die schwarze Liste gesetzt worden sein.

3. Fehlerbehebung und Lösung

Über Cloudflare

Firewall → Tools → IP Access Rules → Bot-IP als "Allow" markieren.
Bot Management → Bot Fight Mode kann deaktiviert werden.

.htaccess Bearbeitung

Um Blockierungen aufzuheben, löschen Sie die entsprechenden User-Agent-Zeilen oder machen Sie sie wie folgt explizit:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} !(Googlebot|bingbot|YandexBot) [NC]
RewriteRule .* - [L]

mod_security und Fail2ban

Regeln sollten unter /etc/modsecurity/ überprüft werden.
Die Dateien /var/log/fail2ban.log und /var/log/apache2/error.log sollten analysiert werden.

Der Zugriff von Suchmaschinen-Bots auf Ihre Website wirkt sich direkt auf Ihre SEO-Leistung aus. Mit den oben genannten Methoden können Sie Zugriffsprobleme erkennen und schnell eingreifen. Stellen Sie nach der Gewährung des Zugriffs sicher, dass die Dateien sitemap.xml und robots.txt ordnungsgemäß bereitgestellt werden.

Indem Sie diese Tests regelmäßig durchführen, können Sie mögliche Hindernisse im Zusammenhang mit dem Bot-Zugriff frühzeitig erkennen und beheben.