Googlebot-Traffic über IP-Bereiche verifizieren

Eine Zeile in Ihren Server-Logs zeigt, dass der Googlebot gerade Ihre Preisseite gecrawlt hat. Stimmt das wirklich? Der User-Agent-String behauptet es zwar, aber User-Agent-Strings lassen sich im Internet extrem leicht fälschen. Scraper, Content-Diebe und Tools von Mitbewerbern tarnen sich routinemäßig als Googlebot, weil die meisten Server nicht über diesen einen Header hinaus prüfen. Google weiß das. Deshalb veröffentlicht das Unternehmen maschinenlesbare IP-Bereichsdateien, mit denen Sie zweifelsfrei feststellen können, ob eine Anfrage tatsächlich aus der eigenen Crawling-Infrastruktur stammt.

Dies ist aus zwei praktischen Gründen wichtig. Erstens, die Sicherheit: Gefälschter Googlebot-Traffic kann Ihre Inhalte kopieren (Scraping), Ihren Server überlasten oder nach Sicherheitslücken suchen, während er sich hinter einem vertrauenswürdigen Namen versteckt. Zweitens, das Crawl-Budget (die Anzahl der Seiten, die ein Bot in einem bestimmten Zeitraum crawlt): Wenn Ihr Server wertvolle Ressourcen des Prozessors (CPU) für Fake-Bots aufwendet, erhält der echte Googlebot weniger Aufmerksamkeit. Dadurch dauert es länger, bis Ihre tatsächlichen Seiten gecrawlt und indexiert werden. Die Verifizierung von Bot-Traffic ist keine paranoide Randerscheinung, sondern grundlegende Hygiene für jede Website, die auf organische Suchmaschinenzugriffe angewiesen ist.

Warum der User-Agent-String allein nichts beweist

Der User-Agent-Header ist lediglich eine Textzeile, die der Client bei jeder Anfrage mitsendet. Nichts hindert ein Scraping-Skript daran, diesen Wert auf Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) zu setzen - also exakt den String, den auch der echte Googlebot verwendet. Server, die sich bei der Zugriffskontrolle oder der Segmentierung in Analysetools nur auf diesen Header verlassen, vertrauen einer Angabe, die der Besucher vollständig kontrollieren kann.

Die praktischen Auswirkungen zeigen sich an zwei Stellen. In Webanalyse-Tools verfälschen Phantom-Besuche des „Googlebots“ die tatsächlichen Crawling-Aktivitäten. Es sieht so aus, als würde Google Ihrer Website mehr Aufmerksamkeit schenken, als es in der Realität der Fall ist. In den Server-Logs kann ein plötzlicher Anstieg gefälschter Googlebot-Anfragen wie ein legitimer Crawl-Peak wirken. Dadurch wird maskiert, dass in Wahrheit ein Scraper Ihre Inhalte ausliest oder ein Angreifer Endpunkte testet. Beide Probleme fallen erst auf, wenn man die IP-Adresse hinter der Anfrage überprüft. Genau dafür stellt Google Verifizierungstools bereit.

Von Reverse DNS bis JSON: Googles aktuelle Verifizierungsmethoden

Google bietet seit Jahren Möglichkeiten zur Verifizierung seiner Crawler an, doch die Methoden haben sich weiterentwickelt.

Reverse-DNS-Abfrage: Die klassische Methode

Der traditionelle Ansatz ist eine zweistufige DNS-Prüfung (Domain Name System). Zuerst führen Sie eine Reverse-DNS-Abfrage für die IP-Adresse durch, von der die Anfrage kam. Eine echte Googlebot-IP wird zu einem Hostnamen aufgelöst, der auf googlebot.com oder google.com endet. Danach führen Sie eine Forward-DNS-Abfrage für diesen Hostnamen durch und prüfen, ob er wieder auf die ursprüngliche IP-Adresse verweist. Stimmen beide Abfragen überein, ist die Anfrage verifiziert. Google dokumentiert und unterstützt diese Methode nach wie vor. Sie ist nützlich für manuelle Einzelprüfungen oder für Teams, deren bestehende Sicherheitswerkzeuge auf DNS-Auflösung statt auf statischen Listen basieren.

Der Nachteil liegt in der Geschwindigkeit und dem Automatisierungsaufwand. Zwei DNS-Abfragen pro Anfrage sind nichts, was man bei jedem einzelnen Zugriff auf einen Live-Server in Echtzeit durchführen möchte - besonders nicht bei hohem Traffic. Die Methode eignet sich hervorragend, um eine Handvoll verdächtiger Log-Einträge stichprobenartig zu prüfen. Für Echtzeit-Firewall-Regeln ist sie jedoch ungeeignet.

Die JSON-Dateien für IP-Bereiche

Um das Automatisierungsproblem zu lösen, veröffentlicht Google strukturierte JSON-Dateien (JavaScript Object Notation), die alle von seinen Crawlern genutzten IP-Bereiche auflisten. Diese Dateien können von einem Skript abgerufen, im Cache gespeichert und auf Änderungen überprüft (diffed) werden. Daraus lassen sich direkt Firewall-Freigabelisten (Allow-Lists) oder Serverregeln erstellen - ohne dass bei einer Anfrage zeitintensive DNS-Abfragen nötig sind. Wenn Sie eine Website mit nennenswertem Bot-Traffic verwalten, ist dies die Methode, die Sie automatisieren sollten.

googlebot.json im Vergleich zu special-vendors.json

Hier ist ein Detail, das in den meisten kurzen Anleitungen übergangen wird, aber entscheidend ist: Google veröffentlicht nicht nur eine Datei, sondern mehrere. Wenn man diese verwechselt, kann das echten Schaden anrichten.

• googlebot.json enthält die IP-Bereiche des Haupt-Crawlers, der Ihre Seiten für die Suche indexiert, einschließlich der Rendering-Komponente.
• special-vendors.json listet IP-Bereiche für separate Google-Dienste auf, wie etwa die Verifizierungscrawler von Google Ads (Anzeigen) und andere Spezial-Tools.

Wenn Sie eine Firewall-Regel einrichten, die nur die IP-Bereiche aus der googlebot.json zulässt und alle anderen Anfragen blockiert, die sich als „Google“ ausgeben, sperren Sie versehentlich den Traffic für die Google Ads-Verifizierung aus. Dies kann zu einem Einbruch des Qualitätsfaktors Ihrer Anzeigen oder zu Fehlern bei der Anzeigenprüfung führen - was absolut nichts mit der organischen Suche zu tun hat. Bevor Sie eine Allow-List erstellen, prüfen Sie genau, welche Datei zu dem Dienst passt, den Sie vor Identitätsdiebstahl schützen wollen.

Verifizierung in die Praxis umsetzen: Sicherheit und Crawl-Budget

Zu wissen, dass diese Dateien existieren, ist nur der erste Schritt. Der eigentliche Nutzen entsteht, wenn Sie eine wiederkehrende Prüfung in die Überwachung Ihrer Website heute integrieren.

Manueller Ablauf zur Verifizierung

Für gelegentliche Stichproben reicht ein einfacher Ablauf: Suchen Sie die verdächtige IP aus Ihrem Server-Log heraus, rufen Sie die aktuelle Datei googlebot.json aus der Entwickler-Dokumentation von Google ab und prüfen Sie, ob die IP in einen der aufgelisteten Bereiche fällt. Wenn dies nicht der Fall ist und die IP auch die Reverse-DNS-Prüfung nicht besteht, handelt es sich um gefälschten Traffic und nicht um den echten Googlebot. Diese manuelle Prüfung ist immer dann ratsam, wenn Sie einen ungewöhnlichen Anstieg der „Googlebot“-Zugriffe feststellen, die Bandbreite eines einzelnen User-Agents plötzlich in die Höhe schießt oder kopierte Inhalte kurz nach einem Crawl auf einer anderen Website auftauchen.

Automatisierung auf Serverebene

Für dauerhaften Schutz können die IP-Bereiche aus der JSON-Datei direkt in Serverregeln umgewandelt werden. Ein grundlegender Ansatz unter Nginx blockiert alle Zugriffe, die im User-Agent behaupten, der Googlebot zu sein, es sei denn, die Quell-IP stimmt mit einem erlaubten Bereich überein. Dies lässt sich beispielsweise über einen map-Block auf Basis der echten IP-Adresse lösen, kombiniert mit einem standardmäßigen return 403 für alle IPs außerhalb der bekannten Bereiche. Apache-Administratoren können dasselbe Ergebnis mit RewriteCond-Regeln erzielen, die die Variable REMOTE_ADDR mit den veröffentlichten IP-Bereichen abgleichen, bevor sie eine Anfrage mit Googlebot-Identität durchlassen. Die genaue Syntax hängt von Ihrem Webserver-Stack ab, aber das Prinzip bleibt gleich: Verifizieren Sie die Netzwerkherkunft, bevor Sie der Identitätsbehauptung vertrauen.

Hier spielen auch lokale Crawling-Tools ihre Stärken aus. Wenn Sie Ihre eigene Website mit einem Crawler analysieren, der direkt auf Ihrem Rechner und nicht über einen geteilten Cloud-Dienst läuft, sind die Anfragen in Ihren Server-Logs eindeutig. Sie stammen von Ihrer eigenen IP-Adresse und nicht aus einem Pool von Drittanbietern, der später blockiert oder mit allgemeinem Bot-Traffic verwechselt werden könnte. Seodisias arbeitet genau nach diesem Prinzip: Das Tool läuft lokal unter Windows, macOS oder Linux. Wenn Sie also testen, wie Ihre Website auf einen Crawl reagiert, erzeugen Sie kein unnötiges Rauschen in den Logdaten, die Sie für die echte Bot-Verifizierung sauber halten wollen. Die Überprüfung, wie eine Website mit Crawler-Zugriffen und JavaScript-Rendering (JS) umgeht, fügt sich nahtlos in eine umfassende technische Analyse ein - wie wir sie in unserer Checkliste für KI-bereite SEO-Audits beschreiben. Bot-Zugriff und Rendering-Integrität sind dabei Teil desselben Prüfprozesses.

Warum dies das Crawl-Budget schützt und nicht nur die Sicherheit

Jede Anfrage, die Ihr Server für einen gefälschten Googlebot verarbeitet, ist eine Anfrage, die nicht für echte Crawling-Aktivitäten zur Verfügung steht. Bei größeren Websites können wiederkehrende Scraper-Zugriffe die Antwortzeiten des gesamten Servers verlangsamen - auch für den echten Crawler. Das Blockieren von Imitatoren ist daher nicht nur eine Sicherheitsmaßnahme. Es ist ein direkter Weg, um sicherzustellen, dass Ihr Crawl-Budget für echten Google-Traffic genutzt wird, anstatt durch Rauschen verschwendet zu werden, das auf den ersten Blick identisch aussieht, aber dieselben Server-Ressourcen verbraucht.

Fazit

Die Verifizierung des Googlebot-Traffics ist eine kleine Routine mit großer Wirkung. Der User-Agent-String zeigt Ihnen, wer ein Besucher zu sein behauptet; die IP-Bereichsdateien - bei Bedarf im Abgleich mit Reverse DNS - zeigen Ihnen, wer er wirklich ist. Wenn Sie den Unterschied zwischen googlebot.json und special-vendors.json kennen, verhindern Sie, dass Sie versehentlich legitime Google-Dienste blockieren, während Sie gleichzeitig Imitatoren herausfiltern. Indem Sie diese Prüfung in eine automatisierte Serverregel statt in eine einmalige manuelle Abfrage verwandeln, bleibt der Schutz dauerhaft aktiv, ohne dass Sie ständig ein Auge darauf haben müssen.

Wenn Sie genau sehen möchten, wie sich Ihre eigene Website während eines Crawls verhält - einschließlich des Rendering-Verhaltens und der Zugriffsmuster, auf die eine Bot-Verifizierung abgestimmt sein sollte -, führen Sie ein vollständiges Audit mit Seodisias durch. Seodisias ist ein kostenloser, lokaler und plattformübergreifender SEO-Crawler ohne URL-Limit und ohne Registrierungszwang.