KI-Sichtbarkeit prüfen: So testen Sie die Genauigkeit von Trackern

Was Sichtbarkeitswerte tatsächlich messen

Ein Sichtbarkeitswert ist ein Verhältnis. Der Tracker schickt eine Reihe von Prompts an ein oder mehrere KI-Produkte, liest die Antworten und zählt, wie oft Ihre Marke oder Domain darin vorkommt. Diese Zahl wird durch die Anzahl der Prompts oder Antworten geteilt. Heraus kommt ein Prozentwert, ein Index oder ein Rang im Vergleich zu Wettbewerbern. Jeder Anbieter wählt seinen eigenen Zähler, seinen eigenen Nenner und seine eigene Gewichtung. Eine 32 in einem Tool hat deshalb nichts mit einer 32 in einem anderen zu tun.

Zuerst muss der Zähler geklärt werden. Manche Tools zählen die Nennung des Markennamens im Antworttext. Andere zählen eine URL Ihrer Domain in der Quellenliste. Wieder andere addieren beides oder gewichten eine Nennung an erster Stelle stärker als eine spätere. Eine Seite, die zitiert, aber nie namentlich erwähnt wird, und eine Marke, die genannt, aber nie zitiert wird, können denselben Wert ergeben. Über Ihre Website sagen sie jedoch Unterschiedliches aus.

Der Nenner ist ebenso wichtig. Das Prompt-Set wählt die Person aus, die den Tracker eingerichtet hat, und es spiegelt meist wider, wofür sie ein Ranking erwartet hat. Tauschen Sie zehn von fünfzig Prompts aus, und der Wert verschiebt sich, ohne dass sich an Ihrer Website oder im Modell etwas geändert hat.

Sprachmodelle liefern außerdem nie zweimal dieselbe Antwort. Ein Wert aus einem einzigen Durchlauf pro Prompt ist eine einzelne Ziehung aus einer Verteilung. Meldet der Tracker eine Zahl ohne Spanne und ohne Stichprobenumfang, können Sie eine echte Veränderung nicht von Rauschen unterscheiden.

Die wichtigste Lücke betrifft die Herkunft. Ein Modell kann Ihre Marke nennen, weil es im Training von ihr erfahren hat, oder weil es eine Suche ausgeführt und Ihre Seite in die Antwort übernommen hat. In der Antwort sehen beide Fälle gleich aus. Der erste spiegelt wider, was das Modell vor Monaten aufgenommen hat. Der zweite hängt von Ihren aktuellen Inhalten, Ihrem Crawler-Zugang und Ihrer Position in der Suchschicht ab, die das Produkt nutzt. Ein Wert, der beides vermischt, verbirgt, welchen der beiden Fälle Sie vor sich haben, und die Gegenmaßnahmen unterscheiden sich.

Werte sagen zudem nichts über die Qualität der Antwort. Eine Nennung kann korrekt, veraltet oder dem falschen Produkt zugeordnet sein. Die meisten Werte zählen alle drei gleich.

Bevor Sie also eine Sichtbarkeitszahl in einen Bericht schreiben, brauchen Sie Antworten auf einige Fragen:

• Was zählt als Treffer?
• Wie viele Prompts und wie viele Wiederholungen stehen hinter der Zahl?
• War der Webzugriff beim Erzeugen der Antwort aktiv oder nicht?
• Können Sie den gespeicherten Antworttext lesen?

Die folgenden Abschnitte zerlegen den Wert in seine Teilsignale und geben Ihnen Tests an die Hand, die Sie selbst durchführen können.

Drei Signale: Trainingsdaten, Live-Suche, Zitate

Ein einzelner Sichtbarkeitswert kann drei verschiedene Signale bündeln. Jedes reagiert auf andere Arbeit an Ihrer Website.

Trainingsdaten (parametrisches Gedächtnis). Das Modell antwortet aus dem, was es im Training aufgenommen hat, und führt keine Websuche durch. Nennt es Ihre Marke, erinnert es sich an sie. Was Sie heute veröffentlichen, kann diese Antwort nicht ändern, bis der Anbieter ein neueres Modell trainiert, und auf den Zeitpunkt haben Sie keinen Einfluss. Ein Tracker, der ein Modell mit abgeschalteter Suche abfragt, misst dieses Signal.

Live-Suche (Retrieval). Das Modell führt eine Suche aus, liest Seiten und formuliert die Antwort aus dem Gefundenen. Ihre Inhalte, der Bot-Zugang zu Ihren Seiten und Ihre Position im zugrunde liegenden Suchindex fließen in das Ergebnis ein. Nur dieses Signal kann sich innerhalb von Tagen oder Wochen nach einer Änderung an der Website bewegen. Ein Tracker, der mit aktivierter Suche abfragt, misst Retrieval, aber im Ergebnis steckt trotzdem Gedächtnis.

Zitate. Das sind die Links, die neben einer Antwort angezeigt werden. Ein Zitat zeigt, welche URL das Produkt angezeigt hat. Es beweist nicht, dass die Aussage von dieser Seite stammt. Manche Produkte hängen Quellen an eine fertige Antwort an, und das Verhalten unterscheidet sich zwischen Produkten und ändert sich zwischen Versionen. Prüfen Sie, was ein Produkt tatsächlich tut, bevor Sie sich darauf verlassen.

Die Überschneidung verursacht den Großteil der Verwirrung. Bei aktivierter Suche kann eine Markennennung aus dem Gedächtnis, aus dem Retrieval oder aus beidem stammen, und die meisten Dashboards zeigen trotzdem nur eine Zahl.

Mit einer kurzen manuellen Routine trennen Sie die Signale. Wählen Sie einen Prompt und ein Modell und führen Sie ihn zweimal aus.

1. Führen Sie ihn mit ausgeschalteter Websuche aus. Erscheint Ihre Marke, sehen Sie das Gedächtnis.
2. Führen Sie ihn mit eingeschalteter Websuche aus. Erscheint die Marke erst jetzt, hat Retrieval die Nennung erzeugt.
3. Öffnen Sie jede zitierte URL. Suchen Sie den Satz in der Antwort und dann den belegenden Text auf der Seite. Notieren Sie, ob die Seite lädt, ob es die erwartete Seite ist und ob sie die Aussage stützt.
4. Protokollieren Sie pro Durchlauf drei Werte: Marke genannt, Marke zitiert, zitierte Seite stützt die Aussage.

Die Kombinationen sind aufschlussreich. Eine Nennung ohne Zitat deutet auf Gedächtnis oder auf ein Retrieval hin, das das Produkt nicht angezeigt hat. Ein Zitat ohne Nennung bedeutet, dass das Produkt Ihre Seite zeigte, die Antwort Ihre Marke aber überging. Nennung, Zitat und eine stützende Seite zusammen sind das stärkste Argument gegenüber einem Kunden.

Führen Sie jeden Prompt mehrmals aus, bevor Sie einem Ergebnis trauen. Die Modellausgabe schwankt zwischen Durchläufen, sodass eine einzelne Stichprobe eine Marke zeigen kann, die nur in einer Minderheit der Durchläufe auftaucht, oder eine verbergen kann, die in den meisten vorkommt.

Fragen Sie sich vor jedem Wert, welches der drei Signale er abbildet. Kann der Anbieter das nicht beantworten, führen Sie diese Woche die Routine mit fünf eigenen Prompts durch.

Sechs praktische Tests für die Genauigkeit eines Trackers

Führen Sie diese Tests mit Ihrem eigenen Tracker durch, bevor eine Zahl in einen Kundenbericht gelangt. Mit einem kleinen Prompt-Set dauert jeder weniger als eine Stunde, und zehn Prompts genügen für den Anfang.

1. Websuche umschalten. Nehmen Sie einen Prompt, bei dem Ihre Marke erscheinen sollte, und wiederholen Sie die Aus/Ein-Routine aus dem vorigen Abschnitt im selben Modell. Erscheint die Marke in beiden Durchläufen, ruft das Modell sie aus den Trainingsdaten ab. Erscheint sie nur bei eingeschalteter Suche, sehen Sie Live-Retrieval. Fragen Sie dann den Anbieter, in welchem Modus der Tracker läuft. Wer das nicht beantworten kann, verkauft Ihnen einen Wert, den Sie nicht interpretieren können.

2. Quellen prüfen. Öffnen Sie für eine Stichprobe von Prompts jede vom Tracker gemeldete Zitat-URL. Prüfen Sie, dass die Seite ohne 404 und ohne unerwartete Weiterleitung lädt, dass sie zur Frage passt und dass die zitierte Aussage auf der Seite steht. Vergleichen Sie dann die URL-Liste mit dem Antworttext, den Sie selbst erhoben haben. Ein Zitat, das nach dem Schreiben der Antwort angehängt wurde, belegt nicht, dass die Antwort von dieser Seite stammt.

3. Prompt wiederholen. Führen Sie einen Prompt fünfmal oder öfter aus, in frischen Sitzungen und zu verschiedenen Tageszeiten, und notieren Sie, wie oft die Marke erscheint. Taucht sie in drei von fünf Durchläufen auf, meldet ein Tracker mit einem einzigen Durchlauf entweder 100 % oder 0 %, je nachdem, welcher Durchlauf zufällig gezogen wurde. Fragen Sie, wie viele Stichproben das Tool pro Prompt nimmt und ob es eine Spanne oder einen Einzelwert ausgibt.

4. Standort und Sprache variieren. Führen Sie denselben Prompt aus zwei Ländern und in zwei Sprachen aus und vergleichen Sie mit dem, was der Tracker meldet. Klären Sie, ob das Tool eine Modell-API abfragt oder die Verbraucheroberfläche steuert. Die beiden können unterschiedliche Antworten liefern, weil Consumer-Produkte eigene System-Prompts, Suchschichten und Personalisierung hinzufügen. Testen Sie die Version, die die Kunden Ihrer Kunden tatsächlich nutzen.

5. Kontrollanfragen ergänzen. Nehmen Sie eine Marke auf, die mit Sicherheit in den Antworten vorkommt, etwa den Marktführer Ihrer Kategorie, und eine erfundene Marke, die nicht existieren kann. Der Marktführer sollte hoch abschneiden. Die erfundene Marke sollte null erreichen. Registriert der falsche Name irgendeine Sichtbarkeit, zählt das Tool Rauschen, vermutlich durch lockeres String-Matching oder unscharfe Entitätszuordnung. Behalten Sie beide Kontrollen in jedem künftigen Durchlauf als dauerhafte Plausibilitätsprüfung.

6. Server-Logs gegenprüfen. Live-Retrieval muss Seiten abrufen, und Abrufe hinterlassen Spuren. Führen Sie einen Prompt aus, der eine Suche auslösen sollte, und prüfen Sie dann Ihre Zugriffsprotokolle innerhalb weniger Minuten auf KI-bezogene User-Agents. OpenAI dokumentiert getrennte User-Agents für Suche, Training und nutzerausgelöste Anfragen. Lesen Sie also nach, was welcher bedeutet, bevor Sie einen Treffer deuten. Google führt die eigenen Crawler in der Crawler-Dokumentation auf. Behauptet ein Tracker, eine Engine habe Ihre Seite abgerufen, während Ihre Logs keine passende Anfrage zeigen, verdient das eine direkte Nachfrage beim Anbieter. Bedenken Sie, dass eine zwischengespeicherte Kopie eine Antwort ohne neuen Abruf liefern kann. Fehlende Einträge im Log sind daher ein Hinweis und kein Urteil.

Halten Sie bei jedem Test Datum, Modell, Modus und Prompt-Set fest. Die Übung lohnt sich nur, wenn Sie sie im nächsten Quartal wiederholen und sehen können, ob sich das Verhalten des Trackers nach einem Modell-Update verändert hat.

Für ein kleines erstes Experiment nehmen Sie zehn Prompts, führen die Tests 1, 3 und 5 damit durch und tragen die Ergebnisse in eine Tabelle ein. Schon das zeigt Ihnen, ob die Zahlen des Trackers stabil genug sind, um sie einem Kunden vorzulegen.

Fragen an den Anbieter vor der Wahl eines Messwerkzeugs

Die obigen Tests zeigen, wie sich ein Tracker verhält. Bevor Sie einen kaufen, stellen Sie dem Anbieter diese Fragen schriftlich. Vage oder fehlende Antworten verraten, wie viel Gewicht der Wert in einem Kundenbericht tragen kann.

Welches Modell in welcher Version fragt das Tool ab? “ChatGPT” ist keine Antwort. Verlangen Sie den genauen Modellnamen und die Version und fragen Sie, wie der Anbieter mit Versionswechseln umgeht. Ein Modell-Update kann Werte über Nacht verschieben, ohne dass sich an Ihrer Website etwas ändert. Protokolliert das Dashboard die Version nicht pro Durchlauf, können Sie eine echte Veränderung nicht von einem Modellwechsel unterscheiden.

Ist die Websuche ein- oder ausgeschaltet? Das ist die Frage aus der Trennung von Live-Daten und Trainingsdaten. Fragen Sie, ob der Tracker Prompts mit aktivierter Suche, deaktivierter Suche oder beidem ausführt und ob die Einstellung für jedes Ergebnis gespeichert wird. Ein Tracker, der beide Modi in einer Zahl zusammenwirft, vermischt zwei verschiedene Signale.

Wie viele Wiederholungen pro Prompt? Fragen Sie, wie viele Durchläufe in jeden Datenpunkt einfließen und ob Sie eine Spanne oder einen Einzelwert erhalten. Wer einen einzelnen Prozentwert ohne Stichprobenumfang nennt, hat seine Genauigkeit nicht offengelegt.

Speichert das Tool den vollständigen Antworttext? Gespeicherte Antworten erlauben es Ihnen, jeden Wert selbst zu prüfen. Ohne sie vertrauen Sie einer Zahl, die Sie nicht zurückverfolgen können. Fragen Sie, wie lange der Text aufbewahrt wird und ob Sie ihn exportieren können.

Wie extrahiert es Zitate? Fragen Sie, ob das Tool die vom Produkt zurückgegebenen Quellen ausliest oder sie aus dem Antworttext ableitet. Fragen Sie auch, ob es prüft, dass die zitierten URLs erreichbar sind. Ein Tool, das ein Zitat mit der Herkunft der Antwort gleichsetzt, übertreibt seine Aussagekraft.

Fragt es über eine API oder die Verbraucheroberfläche ab? Die Ausgaben beider können sich unterscheiden, und Ihr Kunde sieht das Consumer-Produkt. Fragen Sie, welche Variante der Tracker nutzt und welche Standort- und Spracheinstellungen er anwendet.

Ist die Methodik dokumentiert? Suchen Sie eine öffentliche Seite, die die genannten Punkte abdeckt. Kann der Anbieter sie nur im Verkaufsgespräch erklären, können Sie sie in Ihrem eigenen Bericht nicht angeben.

Eine kurze Checkliste für die Testphase:

• Modellname und Version pro Durchlauf protokolliert
• Suchmodus pro Ergebnis erfasst
• Anzahl der Durchläufe und Streuung ausgewiesen
• Rohantworten exportierbar
• Zitat-Extraktion beschrieben und URLs geprüft
• Abfrageweg (API oder Oberfläche), Standort und Sprache benannt
• Methodik veröffentlicht

Führen Sie dann während der Testphase den Kontrolltest aus dem vorigen Abschnitt durch. Erzielt die erfundene Marke irgendeine Sichtbarkeit, misst das Tool Rauschen, was auch immer die Dokumentation des Anbieters behauptet.

So berichten Sie Sichtbarkeitsdaten an Kunden

Haben Sie einen Tracker ausgewählt und getestet, folgt der Bericht. Berichten Sie KI-Sichtbarkeit als Spanne mit Richtung, nie als einzelne Zahl. Ein Tracker, der “42 % Sichtbarkeit” anzeigt, hat ein nicht deterministisches System begrenzt oft abgetastet. Schreiben Sie stattdessen: “zwischen 30 % und 50 % bei 10 Prompts mit je 3 Durchläufen, seit März steigend.” Die Spanne zeigt dem Kunden, wie viel Gewicht die Zahl tragen kann. Die Richtung ist der Teil, auf den er reagieren kann.

Nennen Sie die Methode neben jeder Zahl. Ein Kunde sollte der Fußnote entnehmen können, welches Modell abgefragt wurde, ob die Websuche aktiv war, wie viele Wiederholungen liefen und an welchem Datum. Legt Ihr Tracker diese Angaben nicht offen, schreiben Sie das in den Bericht. Eine Zahl ohne Methode lässt sich in einem Meeting nicht verteidigen, und Sie sind diejenige oder derjenige, der sie verteidigen muss.

Halten Sie die drei Signale in getrennten Spalten. Nennungen ohne Websuche stammen aus den Trainingsdaten, und eine Änderung an der Website bewegt sie über Monate nicht. Nennungen, die nur mit Websuche erscheinen, stammen aus Live-Retrieval und reagieren auf Inhalte und Crawler-Zugang. Zitate bilden die dritte Spalte, und eine verlinkte Quelle beweist nicht, dass die Aussage von dieser Seite stammt. Führen Sie die Spalten zusammen, erwartet der Kunde, dass sich das Content-Update der letzten Woche in einer Zahl zeigt, die es gar nicht beeinflussen kann.

Ergänzen Sie einen Abschnitt “Was wir nicht messen können”. Nehmen Sie mindestens diese Punkte auf:

• Antworten, die echte Nutzer an ihrem eigenen Standort, in ihrer Sprache und in personalisierten Sitzungen erhalten. Tracker fragen über eine API oder eine automatisierte Oberfläche ab, und was ein Mensch sieht, kann abweichen.
• Modelle, die mit vom Nutzer oder vom Produkt eingeschalteter Websuche laufen, wenn der Tracker nicht angibt, welchen Modus er verwendet hat.
• Traffic, der Ihre Website nie erreicht. Eine KI-Antwort kann eine Marke nennen und keinen Klick auslösen, sodass die Analytics nichts zeigen.
• Ursache und Wirkung. Ein Anstieg nach einer Inhaltsänderung ist eine Korrelation, und ein Quartal an Daten trennt sie selten von Modell-Updates.

Legen Sie die Ergebnisse der Kontrollanfragen in den Anhang: die sichere Marke und die erfundene Marke, mit denselben Prompts abgefragt. Liegt die erfundene Marke über null, teilen Sie dem Kunden mit, dass das Tool Rauschen erzeugt, und erklären Sie, wie Sie dies bereinigt haben.

Beenden Sie den Bericht mit Entscheidungen statt mit Werten. Nennen Sie zwei oder drei Maßnahmen, die der Kunde ergreifen kann, etwa Seiten zu reparieren, die Crawler nicht lesen können, und das Signal, das Sie danach prüfen werden. Kunden lesen einen Bericht weiter, der ihnen sagt, was als Nächstes zu tun ist. Einem Bericht, der nur ein Diagramm liefert, hören sie bald nicht mehr zu.

Site-Readiness: Was Tracker sehen können und was nicht

Seodisias ist ein Desktop-Crawler mit einem AI-Ready-Check, und beide enden an der Grenze Ihrer Website. Der Crawler ruft Ihre Seiten wie ein Bot ab, rendert JavaScript und meldet, was er findet: Statuscodes, Redirect-Ketten, Canonical-Tags, robots.txt-Regeln, strukturierte Daten und ob die Inhalte im gerenderten HTML erscheinen. Der AI-Ready-Check untersucht dieselbe Website auf Signale, die für KI-Crawler zählen, etwa ob robots.txt sie blockiert und ob der Hauptinhalt ohne ausgeführtes Skript lesbar ist.

Das deckt Ihre Seite der Verbindung ab. Ein Tracker misst die andere Seite, nämlich was ein Modell sagt, wenn jemand ihm eine Frage stellt. Das sind zwei getrennte Fragen, und ein grünes AI-Ready-Ergebnis sagt nicht, ob ChatGPT, Gemini oder Perplexity Ihre Marke nennen werden.

Seodisias erfasst keine Markennennungen, führt keine Prompts gegen KI-Engines aus und bewertet keine Zitate. Es hat keine Sichtbarkeitskennzahl, und nichts darin kann eine Zahl bestätigen oder widerlegen, die ein Tracker Ihnen liefert. Behauptet ein Anbieter, ein Crawler könne seine Werte validieren, stimmt das nicht.

Was der Crawler Ihnen liefert, ist eine saubere Ausgangsbasis für die obigen Tests. Bevor Sie einem Tracker einen niedrigen Wert anlasten, schließen Sie Ihre eigene Website als Ursache aus. Eine Seite, die Bots einen 403 liefert, ihren Text hinter clientseitigem Rendering versteckt oder hinter einer Redirect-Kette liegt, wird vom Live-Retrieval übersehen, egal wie gut der Tracker ist. Crawlen Sie zuerst. Zeigt der Crawl eine blockierte oder leere Seite, ist der niedrige Wert des Trackers wahrscheinlich korrekt, und die Korrektur gehört auf Ihren Server, nicht in den Bericht.

Auch der umgekehrte Fall gilt. Ist der Crawl sauber und der Tracker zeigt Sie trotzdem als abwesend in Live-Antworten, ist die Website nicht mehr der erste Verdächtige. Nun verdient die Methode des Trackers die Prüfung: welches Modell, ob die Websuche aktiv war, wie viele Wiederholungen und ob die zitierten URLs sich öffnen lassen. Den Vergleich mit und ohne Websuche und die Log-Prüfung aus den früheren Tests können Sie auf genau diese Frage anwenden.

Seodisias läuft lokal unter Windows, macOS und Linux. Es ist kostenlos, hat kein URL-Limit und braucht keine Registrierung, sodass die Crawl-Daten auf Ihrem Rechner bleiben. Das zählt, wenn das Audit die Staging-Umgebung eines Kunden betrifft. Führen Sie den Crawl aus, legen Sie den Export neben Ihre Tracker-Daten und notieren Sie das Datum. Fragt ein Kunde, warum der Wert niedrig ist, können Sie zeigen, welcher Teil des Problems an der Website lag und welcher nie messbar war.

Laden Sie Seodisias herunter, crawlen Sie Ihre Website und führen Sie den AI-Ready-Check aus, bevor Sie Ihren nächsten Tracker testen.