KI-Crawler in Ihren Server-Logs finden: Wer kommt, wie oft, und wie Sie es verifizieren

Die großen Messungen sind sich inzwischen einig über etwas, das vor fünf Jahren absurd geklungen hätte: Automatisierter Traffic hat den menschlichen Traffic im Web überholt. Das große Bild dieser Verschiebung haben wir in Bot-Traffic übersteigt die Hälfte des Webs betrachtet. Dieser Beitrag ist die praktische Fortsetzung, denn die interessante Frage für einen Seitenbetreiber lautet nicht “ist das Web voller Bots”, sondern “welche davon sind auf meiner Website, und was tun sie dort?” Es gibt genau einen Ort, an dem diese Frage ehrlich beantwortet wird: Ihre Server-Logs. Analytics zeigt diese Besucher nicht, denn KI-Crawler führen keine JavaScript-Tags aus. Die Logzeile ist oft die einzige Spur, die sie hinterlassen.

Lesen wir also die Logs. Dies ist eine Anleitung, um KI-Crawler im Access-Log zu finden, zu verifizieren, dass sie sind, wer sie zu sein behaupten, und nüchtern einzuordnen, was ihre Anwesenheit bedeutet.

Wen Sie suchen

KI-bezogene Crawler zerfallen in drei Gruppen, die sich sehr unterschiedlich verhalten, und wer sie verwechselt, trifft schlechte Entscheidungen.

Die erste Gruppe sind Trainings-Crawler, die Inhalte für das Training künftiger Modelle einsammeln: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl, auf dessen Korpus viele Labore trainieren), Bytespider (ByteDance), meta-externalagent (Meta), Amazonbot (Amazon). Diese zu blockieren beeinflusst, ob Ihre Inhalte eines Tages in den Gewichten eines Modells landen; es beeinflusst nicht, ob Sie heute in KI-Suchantworten auftauchen.

Die zweite Gruppe sind Suchindex-Crawler für KI-Antwortmaschinen: OAI-SearchBot (OpenAIs Suchindex) und PerplexityBot (Perplexitys Index). Sie entscheiden, ob Ihre Seiten von diesen Produkten gefunden und zitiert werden können. Sie zu blockieren ähnelt viel eher dem Blockieren des Googlebot als einem Trainings-Opt-out.

Die dritte Gruppe sind On-Demand-Fetcher, die eine Seite in dem Moment abrufen, in dem ein Nutzer danach fragt: ChatGPT-User, Claude-User, Perplexity-User. Ein Treffer von ihnen bedeutet meist: Ein echter Mensch liest gerade jetzt Ihre Inhalte durch einen KI-Assistenten. Näher kommt dieses Ökosystem einem Referral bislang nicht.

Ein Eintrag verdient eine Sondernotiz, weil er alle verwirrt: Google-Extended ist kein Crawler und erscheint nie in Ihren Logs. Es ist ein robots.txt-Token, das Googles regulären Crawlern mitteilt, ob Ihre Inhalte für KI-Training verwendet werden dürfen. Das Abrufen erledigt so oder so der gewöhnliche Googlebot. Wenn eine Log-Analyse-Anleitung Ihnen rät, nach Google-Extended-Treffern zu suchen, rät diese Anleitung ins Blaue.

Die Bots aus dem Log ziehen

Bei einem Standard-Access-Log ist der erste Durchgang ein Einzeiler:

grep -iE "gptbot|oai-searchbot|chatgpt-user|claudebot|claude-user|perplexitybot|ccbot|bytespider|amazonbot|meta-external" access.log | awk '{print $1}' | sort | uniq -c | sort -rn

Das liefert Trefferzahlen pro IP für die gesamte KI-Kohorte. Zwei Verfeinerungen machen es wirklich nützlich. Trennen Sie die Zählung nach User-Agent statt alles zusammenzuwerfen, damit Sie sehen, ob Sie es mit Trainings-Sammlung oder mit Live-Abrufen von Nutzern zu tun haben:

grep -ioE "gptbot|oai-searchbot|chatgpt-user|claudebot|claude-user|perplexitybot|ccbot|bytespider" access.log | sort | uniq -c | sort -rn

Und schauen Sie darauf, was abgerufen wird, nicht nur wie viel. Ein Trainings-Crawler, der einmal im Monat Ihr Archiv durchzieht, ist eine andere Geschichte als ein On-Demand-Fetcher, der dieselbe Produktseite vierzigmal am Tag trifft. Der zweite verrät Ihnen, zu welchen Ihrer Seiten KI-Nutzer tatsächlich Fragen stellen, kostenlose Marktforschung, wenn man sie liest.

Das Nachahmer-Problem

Und hier der Teil, den die meisten Beiträge überspringen: Ein User-Agent-String ist eine Behauptung, kein Ausweis. Jeder kann GPTBot in einen Header schreiben. Scraper geben sich routinemäßig als bekannte KI-Bots aus, gerade weil viele Websites diese Namen inzwischen schonend behandeln. Bevor Sie aus Ihren Zahlen etwas schließen, und lange bevor Sie darauf Blockier-Entscheidungen bauen: verifizieren.

Die saubere Methode ist die beidseitige DNS-Verifikation. Nehmen Sie die IP, machen Sie einen Reverse-Lookup und prüfen Sie, ob der Hostname zur Domain des Betreibers gehört; lösen Sie diesen Hostnamen dann vorwärts auf und bestätigen Sie, dass dieselbe IP zurückkommt:

host 203.0.113.42          # reverse: sollte auf etwas wie openai.com enden
host <erhaltener-hostname> # forward: sollte wieder 203.0.113.42 liefern

Die großen Betreiber veröffentlichen ihre Crawler-IP-Bereiche zudem als maschinenlesbare Listen (OpenAI, Anthropic und Perplexity tun das alle), sodass Sie eine verdächtige IP direkt gegen die publizierten Bereiche prüfen können. In der Praxis fällt ein spürbarer Anteil des selbsterklärten KI-Bot-Traffics bei diesen Prüfungen durch. Behandeln Sie verifizierte und unverifizierte Treffer als zwei getrennte Datensätze: Der eine erzählt von KI-Unternehmen, der andere von Scrapern in deren Jacken.

Was Sie damit konkret anfangen

Sobald Sie wissen, wer wirklich zu Besuch ist, werden aus Panik gewöhnliche Richtlinien-Entscheidungen. Wollen Sie keine Trainingskorpora füttern, sperren Sie die Trainingsgruppe in der robots.txt; Syntax und Abwägungen stehen in unserer Komplettanleitung zu robots.txt und KI-Crawlern. Liegt Ihnen an KI-Suchsichtbarkeit, achten Sie darauf, beim Zielen auf die Trainings-Bots nicht versehentlich die Index-Crawler und On-Demand-Fetcher mitzublockieren; genau dieser Friendly-Fire-Fehler ist verbreitet und entfernt Sie leise aus KI-Antworten. Und wenn ein aggressiver Crawler Ihren Server belastet: Wohlerzogene Bots respektieren nach der Verifikation robots-Regeln, Nachahmer nicht, und genau darum steht die Verifikation am Anfang. Nachahmer begrenzen oder blockieren Sie an der Firewall, nicht in der robots.txt, denn die robots.txt ist ein Zettel, den nur ehrliche Akteure lesen.

Die letzte Gewohnheit, die sich lohnt: Vergleichen Sie das Verhalten der KI-Kohorte mit einem eigenen Crawl Ihrer Website. Die Bots sehen die Website, die Sie tatsächlich ausliefern, nicht die, die Sie zu haben glauben. Ein vollständiger Crawl zeigt, was jeder Crawler antrifft, ob Suche oder KI: kaputte Links, Redirect-Ketten, versehentlich gesperrte Bereiche. Verbringt GPTBot seine Besuche auf Parameter-URLs, die Sie vergessen hatten, ist die Lösung keine KI-Richtlinie, sondern gewöhnliche technische Hygiene, und ein technisches SEO-Audit bringt sie an die Oberfläche.

Das Fazit

Ihre Server-Logs sind das einzige ehrliche Protokoll der folgenreichsten Besucher der KI-Ära, und sie zu lesen kostet einen grep und eine Verifikations-Gewohnheit. Sortieren Sie die Besucher in Training, Index und On-Demand, verifizieren Sie, bevor Sie einem Namen glauben, und entscheiden Sie pro Gruppe statt mit einem Rundumschlag. Die Bots verschwinden nicht; gut fahren werden die Websites, die genau wissen, wer vor der Tür steht.