So testen Sie, ob KI Crawler Ihre Inhalte sehen

Ihre Seite rankt bei Google. Sie haben nachgesehen, sie steht dort, auf der ersten Seite für eine Suchanfrage, die Ihnen wichtig ist. Also gehen Sie davon aus, dass der Inhalt für Maschinen sichtbar ist, und machen weiter. Dann stellen Sie ChatGPT oder Perplexity dieselbe Frage, und Ihre Seite taucht in der Antwort nirgends auf, während ein dünnerer Wettbewerber zitiert wird. Das Ranking war echt. Die Sichtbarkeit nicht. Diese Anleitung zeigt Ihnen, wie Sie diese Lücke direkt testen, mit wenigen Befehlen, bevor sie Ihnen stillschweigend die nächste Ära des Suchverkehrs kostet.

Der Grund für die Lücke ist einen Absatz wert, mehr nicht, weil der Mechanismus an anderer Stelle ausführlich behandelt wird. Der Googlebot rendert JavaScript. Er ruft Ihre Seite ab, stellt sie in eine Warteschlange, führt die Skripte aus und indexiert schließlich das fertige Ergebnis. Die meisten KI Crawler tun das nicht. Sie rufen das rohe HTML ab, das Ihr Server sendet, und behalten den Text, der bereits darin steht. Wenn Ihr Inhalt im Browser durch JavaScript zusammengesetzt wird, kann Google darauf warten, KI Engines meist nicht. Für das vollständige Bild, wie Rendering Strategien das verursachen, lesen Sie den Leitfaden zu JavaScript SEO und Rendering. Dieser Beitrag ist die andere Hälfte der Geschichte: nicht welche Strategie Sie wählen sollten, sondern wie Sie messen, was Sie bereits ausliefern.

Was lesbare Bytes wirklich bedeuten

Jede Seite, die Sie ausliefern, hat zwei Versionen. Die erste ist das rohe HTML, genau die Bytes, die Ihr Server zurückgibt, bevor irgendein Skript läuft. Die zweite ist das gerenderte DOM, das, was die Seite wird, nachdem JavaScript im Browser ausgeführt wurde. Ein Mensch sieht die zweite Version. Ein nicht rendernder Crawler sieht nur die erste.

Die nützliche Zahl ist, wie viel echter, lesbarer Text in dieser ersten Version steckt. Nennen Sie es den lesbaren Inhalt der Seite. Nicht die Byte Größe der Datei, die durch Skripte, Inline Styles und Framework Boilerplate aufgebläht ist, sondern die sichtbaren Wörter, die ein Leser allein aus dem rohen HTML tatsächlich herausziehen könnte.

Ein serverseitig gerenderter Blogbeitrag hat fast seinen gesamten lesbaren Inhalt im rohen HTML. Eine Single Page Application oft fast keinen. Ihr rohes HTML ist eine Hülle: ein <div id="root">, ein paar <script> Tags und ein Ladespinner. Für einen Browser ist das der Anfang einer Seite. Für einen KI Crawler ist das die ganze Seite, und sie enthält keinen Artikel.

Das Muster sieht man am leichtesten nebeneinander. Derselbe Artikel mit 1.500 Wörtern, auf zwei verschiedene Arten ausgeliefert, erzeugt sehr unterschiedliches rohes HTML:

Der Test, den Sie gleich durchführen, beantwortet für jede URL eine Frage: Wenn der Leser eine Maschine wäre, die kein JavaScript ausführt, wie viel von meinem Inhalt würde überleben? Alles, was folgt, ist ein Weg, diese Zahl zu sehen, zuerst für eine Seite, dann für eine ganze Website.

Drei Wege zu sehen, was ein nicht rendernder Crawler sieht

Für eine einzelne Seite brauchen Sie keine spezielle Software. Sie brauchen ein Terminal und einen Browser. Jede Methode unten zeigt dasselbe rohe HTML aus einem leicht anderen Blickwinkel, und zwei davon zusammen zu verwenden räumt jeden Zweifel aus.

Der rohe Abruf

curl ruft eine URL ab und gibt genau das aus, was der Server sendet, ganz ohne JavaScript Ausführung. Das macht es zum nächsten, was Sie an der Sicht eines KI Crawlers schon installiert haben.

curl -s https://example.com/your-page > raw.html

Öffnen Sie raw.html in einem Browser oder scrollen Sie es im Terminal durch und suchen Sie nach einem Satz, von dem Sie wissen, dass er in Ihrem Artikel steht. Wenn Ihr Einleitungsabsatz da ist, gut. Wenn Sie nur eine Hülle und Skript Tags sehen, dann ist das auch das, was der Crawler sieht.

Eine Feinheit zählt. Manche Websites liefern Bots anderes HTML aus als Browsern, manchmal absichtlich und manchmal aus Versehen. Um das zu erkennen, rufen Sie mit einer echten KI Crawler Identität ab, damit Sie sehen, was dem Bot tatsächlich ausgeliefert wird:

curl -s -A "Mozilla/5.0 (compatible; GPTBot/1.0; +https://openai.com/gptbot)" \
  https://example.com/your-page > raw-as-bot.html

Wenn sich raw.html und raw-as-bot.html in ihrem lesbaren Text unterscheiden, haben Sie eine Auslieferungs Inkonsistenz, die Sie vor allem anderen verstehen sollten.

Die Ansicht mit deaktiviertem JavaScript

Der rohe Abruf zeigt die Bytes. Der Browser mit deaktiviertem JavaScript zeigt dieselben Bytes als Seite gerendert, was oft leichter auf einen Blick zu beurteilen ist.

Öffnen Sie in Chrome die DevTools, rufen Sie mit Control+Shift+P oder Command+Shift+P das Befehlsmenü auf, tippen Sie “Disable JavaScript”, wählen Sie es aus und laden Sie die Seite neu. Was auf dem Bildschirm bleibt, ist ungefähr das, was ein nicht rendernder Crawler behält. Wenn der Artikeltext verschwindet und Ihnen nur ein Header und ein leerer Rahmen bleiben, hängt der Inhalt von JavaScript ab, das der Crawler nie ausführen wird.

Diese Ansicht lohnt sich selbst dann, wenn die curl Ausgabe in Ordnung aussah, weil sie Inhalt erfasst, der im HTML vorhanden ist, aber beim Laden von Skripten versteckt oder ersetzt wird.

Der gerenderte Vergleich

Um die Lücke zu beweisen statt sie zu vermuten, vergleichen Sie die beiden Zustände. Eine grobe Zählung des lesbaren Inhalts aus dem rohen HTML braucht einen Befehl. Er entfernt Skripte und Styles, streift die Tags weg und zählt die Zeichen des sichtbaren Textes, der übrig bleibt:

curl -s https://example.com/your-page \
  | perl -0777 -pe 's/<(script|style)[^>]*>.*?<\/\1>//gs; s/<[^>]+>/ /g; s/\s+/ /g' \
  | wc -c

Führen Sie ihn auf einer Seite aus, von der Sie wissen, dass sie serverseitig gerendert ist, und notieren Sie die Zahl. Führen Sie ihn auf einer Seite aus, die Sie clientseitig gerendert vermuten, und vergleichen Sie. Ein inhaltsreicher Artikel, der ein paar hundert Zeichen zurückgibt, sagt Ihnen, dass seine Wörter nicht im rohen HTML stehen. Der genaue Wert spielt keine Rolle. Das Verhältnis zwischen einer gesunden und einer verdächtigen Seite ist es, das das Problem offenlegt.

So hängen die drei Methoden zusammen, damit Sie die richtige für den Moment wählen können:

Zwei der drei zusammen reichen meist. Der curl Abruf sagt Ihnen, was ausgeliefert wird, und die Ansicht mit deaktiviertem JavaScript sagt Ihnen, wie das für einen Leser aussieht, der in Wahrheit eine Maschine ist.

Lesbaren Inhalt über eine ganze Website prüfen

Eine einzelne URL von Hand zu testen ist für eine Stichprobe in Ordnung. Es skaliert nicht auf eine Website mit hunderten Templates und tausenden Seiten, und die Seiten, die durchfallen, sind selten die, die Sie zu testen dächten. Die Startseite ist meist in Ordnung. Die tiefe Produktseite, das gefilterte Listing, der über eine clientseitige Route geladene Artikel, das sind die Stellen, an denen Inhalt still verschwindet.

Für den Maßstab wollen Sie einen Crawler, der jede URL zweimal abrufen kann, einmal als rohes HTML und einmal mit einer echten Browser Engine, und den Unterschied pro Seite meldet. Dieser Unterschied ist die Prüfung. Seiten, bei denen die gerenderte Version weit mehr lesbaren Inhalt hat als die rohe, sind Ihre Risikoliste, geordnet.

Genau diese Lücke ist Seodisias gebaut aufzudecken. Es crawlt mit einer echten Browser Engine und meldet, welcher Inhalt tatsächlich extrahiert wurde, sodass Sie vergleichen können, was Ihr Code erzeugt gegen das, was ein Crawler behält, über die ganze Website statt Seite für Seite. Seine AI Ready Analyse betrachtet dieselbe Frage von der Inhaltsseite und prüft, ob der Text, der überlebt, so strukturiert ist, dass KI Engines ihn nutzen können. Wie Sie die Prüfung auch durchführen, das Prinzip ist dasselbe: Nehmen Sie nie an, ein Template sei sicher, weil eine Seite darauf in Ordnung aussah.

Während Sie prüfen, hilft es zu wissen, welche Maschinen tatsächlich vorbeikommen. Ihre Zugriffsprotokolle listen sie bereits auf, und KI Crawler in Ihren Serverprotokollen finden sagt Ihnen, ob GPTBot, ClaudeBot und der Rest Ihre Seiten überhaupt erreichen. Eine Seite, die im rohen HTML unsichtbar ist und nie gecrawlt wird, hat zwei Probleme, nicht eines.

Die Ergebnisse lesen, ohne überzureagieren

Ein fehlgeschlagener Test ist ein Signal, kein Urteil. Bevor Sie eine Architektur umschreiben, sortieren Sie, was Sie gefunden haben, danach, wie sehr es zählt.

Beginnen Sie mit der Absicht. Ein eingeloggtes Dashboard, ein Kontoeinstellungs Bildschirm oder ein internes Werkzeug hat keinen Grund, für einen KI Crawler lesbar zu sein, und clientseitiges Rendering ist dort eine völlig gute Wahl. Fehlender lesbarer Inhalt auf diesen Seiten ist kein Fehler. Es ist das Design, das wie beabsichtigt funktioniert.

Schauen Sie dann auf die Seiten, die dazu da sind, gefunden zu werden. Artikel, Ratgeber, Produkt und Kategorieseiten, Dokumentation, alles, was in einer Antwort oder einem Zitat auftauchen sollte. Wenn diese im rohen HTML nahezu leer zurückkommen, ist das der eigentliche Befund, und er verdient Aufmerksamkeit ungefähr im Verhältnis zum Verkehr und den Zitaten, die die Seite verdienen sollte.

Achten Sie auch auf die Teilausfälle, denn sie werden leicht übersehen. Eine Seite, deren Textkörper im rohen HTML steht, deren <title> und Meta Beschreibung aber nach dem Laden per JavaScript eingefügt werden, wird mit einem generischen Websitenamen als Titel gelesen. Die Wörter sind sichtbar, die Einordnung nicht, und in KI Antworten ist es oft die Einordnung, die zitiert wird. Ein schneller Weg, das zu erkennen, ist zu bestätigen, dass der erwartete Titel und die Beschreibung in der curl Ausgabe vorhanden sind, nicht nur der Textkörper.

Widerstehen Sie schließlich dem Drang, jede Lücke als dringend zu behandeln. Ein vierteljährlicher Durchgang über eine Auswahl von Seiten aus jedem Template fängt Regressionen früh ab, ohne aus einer Messgewohnheit eine Panik zu machen. Der Sinn des Tests ist ruhiges Bewusstsein dafür, was Maschinen behalten, oft genug durchgeführt, um ihm zu vertrauen.

Was der Test Ihnen nicht sagt

Das ist ein Sichtbarkeitstest, kein Zitattest, und der Unterschied lohnt sich festzuhalten. Ihn zu bestehen bedeutet, dass ein KI Crawler Ihre Wörter lesen kann. Es bedeutet nicht, dass eine Engine sie zitieren wird. Viele Seiten sind im rohen HTML völlig lesbar und erscheinen dennoch nie in einer Antwort, weil der Inhalt dünn ist, sich nicht abhebt oder schlicht nicht die beste Quelle für die Frage ist.

Denken Sie an lesbaren Inhalt als die Eintrittskarte. Ohne ihn sind Sie überhaupt nicht im Raum, egal wie gut der Text geschrieben ist. Mit ihm sind Sie berechtigt, und dann entscheidet die übliche Arbeit über das Ergebnis: klare Struktur, echte Fachkenntnis, Informationen, die ein Leser nicht an zehn anderen Stellen bekommt. Diese Arbeit ist das Thema des Leitfadens zur generativen Engine Optimierung, und dieser Test ist einfach die Prüfung, die Sie zuerst durchführen, weil er der eine Ausfall ist, der alles andere irrelevant macht.

Der Test ist außerdem eine Momentaufnahme, kein Monitor. Eine Seite, die heute besteht, kann beim nächsten Mal, wenn eine Komponente umgebaut wird, um ihren Inhalt auf dem Client zu holen, wieder durchfallen, und nichts im Ranking wird Sie warnen. Deshalb zählt die Gewohnheit mehr als jedes einzelne Ergebnis. Messen Sie nach einem Zeitplan, bewahren Sie die Zahlen auf und achten Sie auf die Seite, die früher voll war und plötzlich eine Hülle ist.

Fazit

Rankings sagen Ihnen, was Google tut, nachdem es Ihre Seite gerendert hat. Sie sagen nichts darüber, was ein KI Crawler behält, wenn er das nicht tut. Der einzige Weg, es zu wissen, ist, das rohe HTML direkt anzusehen, und jetzt haben Sie drei Wege, das für eine Seite zu tun, und einen Weg, es über eine ganze Website zu tun. Rufen Sie die Seite ab, deaktivieren Sie JavaScript, vergleichen Sie den lesbaren Inhalt und sortieren Sie die Ergebnisse danach, ob die Seite je gefunden werden sollte. Wenn die Seiten, die zählen, leer zurückkommen, ist die Lösung eine Rendering Entscheidung, und die Optionen sind es wert, sie sorgfältig durchzuarbeiten statt zu raten. Die Wörter in die erste Version der Seite zu bekommen, ist die Grundlage für alles andere, denn eine Engine kann nicht zitieren, was sie nie gelesen hat. Wenn Sie diese Prüfung über eine ganze Website statt eine URL nach der anderen durchführen wollen, laden Sie Seodisias kostenlos herunter und lassen Sie es mit einer echten Browser Engine crawlen. Messen Sie zuerst, beheben Sie dann, was die Messung beweist.