AI Scrape-to-Referral-Ratio: Lohnt sich der Bot-Traffic für Ihre Website?

Jedes Mal, wenn ein KI-Bot eine Seite von Ihrem Server abruft, kostet Sie das etwas: Bandbreite, Crawl-Budget (das Server-Ressourcen-Limit für Web-Crawler) und manchmal auch wertvolle Inhalte. Letztere werden dann oft in Chatbot-Antworten paraphrasiert wiedergegeben, ohne dass ein Link zurück zu Ihrer Website führt. Microsoft Clarity hat kürzlich eine neue Kennzahl eingeführt, die diesen Austausch verdeutlicht: die Scrape-to-Referral-Ratio für KI-Bots - also das Verhältnis zwischen dem Auslesen von Inhalten (Scraping) und den tatsächlich weitergeleiteten Nutzern (Referrals). Diese Kennzahl vergleicht, wie oft Bots wie GPTBot, CCBot oder PerplexityBot Ihre Website crawlen, mit der Anzahl der echten Nutzer, die über diese Plattformen zu Ihnen gelangen. Für viele Website-Betreiber ist der erste Blick auf diesen Wert ernüchternd.

In diesem Artikel geht es nicht darum, aus reinem Trotz jeden Crawler in der robots.txt-Datei zu sperren. Vielmehr geht es darum, das Verhältnis richtig zu interpretieren, zwischen profitablen und unrentablen Bots zu unterscheiden und fundierte Entscheidungen zu treffen, sobald die Zahlen vorliegen.

Was die Scrape-to-Referral-Ratio für KI-Bots tatsächlich misst

Mathematisch gesehen ist die Rechnung simpel. Es wird gezählt, wie oft KI-Bots Ihre Seiten in einem bestimmten Zeitraum abrufen. Dem wird gegenübergestellt, wie viele Klicks im selben Zeitraum von KI-Plattformen wie Bing Chat, ChatGPT oder Perplexity auf Ihrer Website eingehen. Teilt man den ersten Wert durch den zweiten, erhält man das Verhältnis: Wie viele Scrapes waren für einen einzigen echten Besucher nötig?

Ein Verhältnis von 50:1 ist durchaus akzeptabel. Liegt der Wert jedoch bei 1000:1 oder schlechter, füttert Ihre Website ein System, das fast nichts zurückgibt. Dieses zweite Szenario ist weitaus häufiger, als viele Betreiber vermuten - insbesondere bei Informationsdatenbanken, Glossaren und Anleitungen. Genau diese strukturierten Inhalte werden von KI-Modellen gerne zusammengefasst, ohne den Nutzer auf die Originalquelle weiterzuleiten.

Die nackte Zahl ist allerdings noch kein endgültiges Urteil. Ein brandneuer Blogbeitrag wird oft intensiv gescrapt, bevor er überhaupt zitiert werden kann, da die Indexierung dem Crawling hinterherhinkt. Eine etablierte Informationsseite kann monatelang ein schlechtes Verhältnis aufweisen und plötzlich zur primären Quelle für eine häufig gestellte Frage werden, woraufhin der Referral-Traffic ansteigt. Der Kontext ist entscheidend. Die Kennzahl dient als Ausgangspunkt, um die richtigen Fragen zu stellen, anstatt nur zu mutmaßen.

Ein realistischer Blick auf die Zukunft ist ebenfalls wichtig. Branchenprognosen deuten darauf hin, dass das Klickvolumen der traditionellen Suche in den nächsten Jahren deutlich schrumpfen könnte, da immer mehr Anfragen direkt in den Benutzeroberflächen der KI-Tools beantwortet werden. Die genauen Zahlen hängen stark von der jeweiligen Nische ab, doch der Trend ist eindeutig: Die Diskussion über das Scrape-to-Referral-Verhältnis zu ignorieren, ist keine zukunftssichere Option mehr.

Welche KI-Bots Gegenleistung erbringen und welche nur nehmen

Nicht alle Bots verhalten sich gleich. Sie alle in einen Topf zu werfen, führt oft zu falschen strategischen Entscheidungen.

Einige Crawler sind direkt an ein Produkt gekoppelt, das tatsächlich Traffic generiert. Der Bot von Perplexity beispielsweise speist einen Assistenten, der Quellen direkt im Text verlinkt und zitiert. Ein Scrape am heutigen Tag kann sich also in einem Besucher in der nächsten Woche auszahlen. Auch der Bing-Crawler erfüllt einen doppelten Zweck: Er pflegt den Suchindex und füttert gleichzeitig den KI-Chat, wobei Verweislinks direkt in die Antworten integriert sind.

Andere Bots dienen fast ausschließlich dem Training von Modellen. Der CCBot von Common Crawl und verschiedene andere Crawler zur Datensammlung rufen Ihre Inhalte einmalig ab, um sie in ein Trainings-Dataset einzuspeisen. Danach endet die Interaktion. Es gibt keine Plattform oder Benutzeroberfläche, auf der ein Nutzer auf Ihre Website zurückklicken könnte. Der GPTBot von OpenAI bewegt sich in einer Grauzone: Er liefert Daten für Modellantworten, die gelegentlich Quellen zitieren, doch die historische Referral-Rate war im Vergleich zum enormen Crawling-Volumen bisher eher gering.

Hier liegt der entscheidende Punkt für Ihre Strategie: Wenn Sie jeden KI-Crawler als dieselbe Bedrohung oder dieselbe Chance behandeln, sperren Sie entweder Bots, die Ihnen im Hintergrund Traffic bringen, oder Sie füttern Bots, die Ihnen keinerlei Gegenleistung erbringen. Eine differenzierte robots.txt-Konfiguration, basierend auf Ihren Server-Logs und Clarity-Daten anstelle einer vorgefertigten Sperrliste aus Online-Foren, ist der einzig sinnvolle Weg.

Die Analyse, welche Bots wie oft auf Ihre Website zugreifen, beginnt in den Server-Logs und Webanalyse-Tools. Wenn Sie wissen, welche Bots einen Mehrwert bieten, stellt sich die nächste technische Frage: Können diese Bots Ihre Inhalte überhaupt fehlerfrei lesen oder scheitern sie an Render- und Strukturproblemen, die auch herkömmlichen Suchmaschinen-Crawlern zu schaffen machen?

Inhaltsdiebstahl oder schlechtes Geschäft? Wie man die Zahlen deutet

An dieser Stelle wird die Debatte oft falsch geführt. „KI stiehlt meine Inhalte“ und „KI-Traffic rechtfertigt die Serverlast nicht“ klingen zwar ähnlich, erfordern aber völlig unterschiedliche Maßnahmen.

Wenn es sich tatsächlich um eine unautorisierte Nutzung Ihrer Inhalte handelt, ist dies eine rechtliche und strategische Frage. Hier sind robots.txt-Anweisungen, Lizenzbedingungen oder in manchen Fällen die direkte Kontaktaufnahme mit den Plattformen die geeigneten Werkzeuge.

Ist das Verhältnis jedoch schlecht, obwohl der Bot theoretisch Traffic senden könnte, sollten Sie sich fragen: Sind Ihre Inhalte überhaupt für KI-Bots lesbar? Ein Bot, der Ihre Seitenstruktur nicht analysieren kann, kein Schema-Markup (strukturierte Daten zur besseren Maschinenlesbarkeit) findet oder sich durch ein komplexes JavaScript-Rendering kämpfen muss, wird Sie kaum präzise zitieren können. In diesem Fall löst eine Sperrung das Problem nicht - sie nimmt Ihnen lediglich die ohnehin geringe Chance auf Sichtbarkeit.

Diesen Aspekt lassen die meisten Anleitungen aus. Viele zeigen, wie man den Clarity-Bericht öffnet, aber kaum jemand erklärt die nächsten Schritte bei schlechten Werten. Die pragmatische Lösung teilt sich in zwei Wege: Sperren Sie Bots, die nachweislich keinen Traffic bringen und nur Server-Ressourcen verbrauchen, und optimieren Sie die technische Lesbarkeit Ihrer Inhalte für diejenigen Bots, die potenziell Besucher senden könnten.

Unser Leitfaden für Audits zur KI-Bereitschaft beschreibt den zweiten Weg im Detail: die Überprüfung der Schema-Vollständigkeit, der semantischen Überschriftenstruktur und der Frage, ob Ihre Hauptinhalte ohne das Ausführen schwerer clientseitiger Skripte zugänglich sind. Letzteres ist besonders wichtig: Wenn der Crawler eines KI-Bots JavaScript nicht wie ein herkömmlicher Browser rendert und Ihre wichtigsten Inhalte erst nach dem Ausführen eines Skripts geladen werden, erfasst der Bot unter Umständen nur eine leere Seite. In Ihren Logs erscheint dies als Scrape, in Ihrer Statistik als wertloser Datenpunkt ohne Ertrag.

Genau für diese Art der Analyse wurde Seodisias entwickelt. Es ist ein kostenloser Desktop-SEO-Crawler für Windows, macOS und Linux - ohne URL-Limits und ohne Registrierungszwang. Und das Beste: JavaScript-Rendering ist direkt integriert und nicht hinter einer Paywall versteckt. Um transparent zu sein: Seodisias ist keine Webanalyse-Plattform und berechnet Ihre Scrape-to-Referral-Ratio nicht selbst - diese Daten stammen aus Ihren Server-Logs oder Tools wie Clarity. Unser Tool löst jedoch den technischen Teil des Problems: Sie können Ihre Website genau wie ein Bot crawlen, das JavaScript-Rendering simulieren und genau sehen, welche Inhalte, Schemas und Strukturen am Ende tatsächlich sichtbar sind. Wenn eine Seite im Browser korrekt aussieht, im gerenderten Crawl jedoch unvollständig oder fehlerhaft zurückgegeben wird, haben Sie die Ursache für ausbleibende Zitate gefunden - unabhängig davon, welche Bots Sie zulassen.

Fazit: Analysieren Sie die Kennzahlen und optimieren Sie, was Sie kontrollieren können

Die Scrape-to-Referral-Ratio für KI-Bots ist kein Punktekonto, das man gewinnen muss, sondern ein Diagnosewerkzeug. Ein schlechter Wert bedeutet nicht automatisch Diebstahl, und eine gute Quote ist kein Garant für eine langfristig gesunde Partnerschaft. Die Kennzahl zwingt Sie jedoch zu einer Entscheidung, die viele Website-Betreiber bisher vor sich hergeschoben haben: Welche Bots rechtfertigen die Serverkosten und sind Ihre Inhalte technisch so strukturiert, dass die zugelassenen Bots Ihnen auch Traffic zurücksenden können?

Nutzen Sie Ihre Server-Logs und Clarity-Berichte, um Traffic-bringende Bots von reinen Daten-Scrapern zu trennen. Führen Sie anschließend einen gerenderten Crawl Ihrer eigenen Website durch, um zu prüfen, ob die erfassten Inhalte vollständig, strukturiert und zitierfähig sind. Der erste Schritt zeigt Ihnen, wer Ihre Website besucht - der zweite zeigt Ihnen, ob Sie diesen Besuchern überhaupt lesbare Inhalte anbieten.

Wenn Sie in letzter Zeit keinen gerenderten, lokalen Crawl Ihrer Website durchgeführt haben, ist dies der schnellste Weg, um versteckte Probleme aufzudecken. Laden Sie Seodisias herunter und prüfen Sie Ihre Seiten selbst, bevor Sie voreilig Bots blockieren.