Warum Google Ihre Sitemap ignoriert und wie Sie es diagnostizieren
Sie haben alles richtig gemacht. Sie haben eine gültige XML Sitemap erzeugt, in der Search Console eingereicht und gewartet. Wochen später zeigt der Bericht nur einen Bruchteil Ihrer URLs als indexiert, oder die Search Console meldet die Sitemap als gelesen, während die meisten Seiten in “Gecrawlt, zurzeit nicht indexiert” oder “Gefunden, zurzeit nicht indexiert” hängen. Es fühlt sich an, als würde Google die Datei komplett ignorieren.
In gewisser Weise tut es das. Nicht weil die Datei kaputt ist, sondern weil eine Sitemap nicht so funktioniert, wie die meisten annehmen. Zu verstehen, was eine Sitemap tatsächlich verspricht und was nicht, ist der Unterschied zwischen endlosem Neu einreichen und einer echten Lösung. Dieser Leitfaden zeigt, warum Google eine Sitemap abwertet und wie Sie herausfinden, welcher Grund bei Ihrer Website greift.
Eine Sitemap ist ein Hinweis, kein Befehl
Das Wichtigste zuerst: Eine Sitemap ist ein Vorschlag. Sie sagt Suchmaschinen, hier sind URLs, die ich für ansehenswert halte. Sie erzwingt kein Crawlen, sie erzwingt keine Indexierung, und das war nie anders. Google sagt es seit Jahren deutlich: Eine URL in einer Sitemap garantiert nicht, dass sie gecrawlt wird, und gecrawlt zu werden garantiert nicht, dass sie indexiert wird.
Vergleichen Sie das mit der robots.txt, die eine Anweisung ist. Wenn Sie einen Pfad sperren, befolgen konforme Crawler das. Eine Sitemap hat keine solche Macht. Sie ist eher ein Empfehlungsschreiben als ein Arbeitsauftrag. Google liest das Schreiben, wägt es gegen alles ab, was es sonst über Ihre Website weiß, und entscheidet dann nach eigenem Zeitplan und eigenen Prioritäten.
Sobald Sie diese Sicht annehmen, ändert sich die Frage. Sie lautet nicht mehr “warum ignoriert Google meine Liste”, sondern “warum entscheidet sich Google, bei diesen bestimmten URLs nicht zu handeln”. Das ist eine Frage, die Sie beantworten können, und die Antworten fallen in vier Kategorien.
Grund 1: Die eingereichten URLs sind nicht die URLs, die Google will
Das ist bei Weitem die häufigste Ursache und die unsichtbarste. Ihre Sitemap listet eine URL, aber diese URL ist nicht die saubere, indexierbare, kanonische Version der Seite. Google folgt ihr, findet einen Grund, genau diese Adresse nicht zu indexieren, und zieht still weiter. Ein paar Muster tauchen immer wieder auf.
Die URL leitet weiter. Ihre Sitemap listet http://, obwohl die Website auf https:// läuft, oder sie listet einen Slug, der jetzt per 301 woanders hin zeigt. Google folgt der Weiterleitung, indexiert das Ziel und behandelt den Sitemap Eintrag als veraltet. Jede weitergeleitete URL in einer Sitemap ist ein verschwendetes Signal.
Die Seite trägt ein noindex Tag. Die Sitemap sagt “indexiere das”, der Seiten Header oder das Meta Robots Tag sagt “nicht indexieren”. Das Seiten Tag gewinnt, jedes Mal. Eine Sitemap, die eine noindex URL listet, ist ein direkter Widerspruch, und Google löst ihn gegen Sie auf.
Der Canonical zeigt woanders hin. Sie reichen /produkt?farbe=blau ein, aber die Seite deklariert einen Canonical von /produkt. Google respektiert den Canonical und verwirft die Parameter Version. Wenn Ihre Sitemap voller Parameter URLs oder Facetten Varianten ist, ist das meiste aus Googles Sicht überflüssig.
Die Seite ist durch robots.txt gesperrt. Eine Sitemap URL, die in der robots.txt gesperrt ist, kann gar nicht gecrawlt werden. Google weiß vielleicht, dass sie existiert, holt den Inhalt aber nicht, was meist in “Gefunden, zurzeit nicht indexiert” landet. Wenn Sie diesen Status massenhaft sehen, ist das ein Hauptverdächtiger. Unser Leitfaden dazu, warum Seiten als gefunden aber nicht indexiert hängen bleiben, erklärt diesen Status im Detail.
Die Lösung für all das folgt demselben Prinzip: Eine Sitemap sollte nur kanonische, sich selbst referenzierende, indexierbare URLs mit Status 200 enthalten. Nichts, das weiterleitet, nichts, das gesperrt ist, nichts, dessen Canonical woanders hin zeigt. Wenn Sitemap und Seite endlich übereinstimmen, hört Google auf, die Datei abzuwerten.
Grund 2: Google vertraut Ihrem lastmod nicht mehr
Das Feld lastmod soll Crawlern sagen, wann sich eine URL zuletzt sinnvoll geändert hat, damit sie frische Inhalte priorisieren und unveränderte Seiten überspringen können. Ehrlich genutzt hilft es großen Websites wirklich, schneller neu gecrawlt zu werden.
Unehrlich genutzt wird es zu Rauschen, das Google zu ignorieren lernt. Viele Systeme und Plugins stempeln bei jedem Rebuild das heutige Datum auf jede URL, auch wenn sich auf der Seite nichts geändert hat. Wenn jede Seite behauptet, heute Morgen geändert worden zu sein, trägt das Feld keine Information. Google erkennt das Muster, hält Ihre lastmod Werte für unzuverlässig und beginnt, sie für die ganze Website zu missachten.
Die Diagnose ist einfach. Öffnen Sie Ihre Sitemap und schauen Sie sich die lastmod Werte einer Stichprobe von URLs an. Wenn Seiten, die Sie seit einem Jahr nicht angefasst haben, alle ein aktuelles Datum zeigen, lügt Ihr lastmod. Die Lösung ist, lastmod nur auszugeben, wenn sich der Inhalt tatsächlich ändert, und es lieber ganz wegzulassen als zu fälschen. Die Mechanik dahinter behandelt unser tieferer Leitfaden zum Bauen und Validieren von XML Sitemaps im großen Maßstab.
Grund 3: Die Datei wurde nie sauber abgerufen
Manchmal wertet Google Ihre Sitemap gar nicht inhaltlich ab. Es hat sie nie vollständig gelesen. Diese Fehler sind leiser als ein harter Fehler, weil die Search Console oft “Erfolg” für eine Sitemap meldet, die sie nur teilweise verarbeitet hat.
Einige Ursachen führen dazu. Die Sitemap liegt an einer URL, die selbst durch robots.txt gesperrt ist. Die Datei wird mit falschem Content Type ausgeliefert und als Webseite statt als XML behandelt. Sie überschreitet die Grenzen von 50.000 URLs oder 50 MB unkomprimiert, und der Überhang wird still verworfen. Oder ein Sitemap Index verweist auf untergeordnete Sitemaps, die einen 404 liefern. Jedes davon kann Google eine unvollständige Sicht auf Ihre URLs hinterlassen, während der Bericht grün aussieht.
Zur Diagnose rufen Sie die Sitemap so ab, wie ein Crawler es täte, nicht in einem Browser Tab, der sie hilfreich rendert. Fordern Sie die Rohdatei an, prüfen Sie, ob sie Status 200 mit XML Content Type liefert, ob sie unter den Größengrenzen liegt, und bei einem Sitemap Index, ob jede untergeordnete Sitemap wirklich auflöst. Dass ein Mensch die Datei im Browser öffnen kann, ist kein Beweis, dass ein Bot sie sauber abgerufen hat.
Grund 4: Die Seiten sind echt, aber Google rationiert Aufmerksamkeit
Angenommen, die URLs sind sauber, das lastmod ist ehrlich und die Datei wird perfekt abgerufen. Google kann trotzdem Seiten auslassen, und hier ist der Grund Qualität und Budget statt Mechanik.
Google schuldet nicht jeder Seite einen Indexplatz. Es verteilt Crawling und Indexierung danach, wie sehr es einer Website vertraut und welchen Wert es von einer Seite erwartet. Auf einer großen Website konkurrieren dünne Seiten, fast doppelte Seiten und wertarme Template Seiten um einen begrenzten Anteil an Aufmerksamkeit, und viele verlieren. Daher kommt oft “Gecrawlt, zurzeit nicht indexiert”: Google hat die Seite geholt, sie als keinen Indexplatz wert beurteilt und ausgelassen. Mehr URLs in die Sitemap zu stopfen hilft nicht, denn die Grenze ist nicht Auffindbarkeit, sondern Wert. Unser Leitfaden dazu, wie das Crawl Budget bei wertarmen Seiten aufgebraucht wird, erklärt diesen Wettbewerb.
Die unbequeme Lösung ist, die Sitemap kleiner und stärker zu machen, nicht größer. Entfernen Sie dünne und doppelte URLs, führen Sie überlappende Seiten zusammen und reichen Sie nur die Seiten ein, die Sie wirklich als indexwürdig verteidigen würden. Eine schlanke Sitemap starker Seiten verdient mehr von Googles Aufmerksamkeit als eine aufgeblähte voller Füllmaterial.
Wie Sie das auf Ihrer eigenen Website diagnostizieren
Das Muster über alle vier Gründe ist eine Lücke zwischen dem, was Ihre Sitemap behauptet, und dem, was Ihre Seiten tatsächlich sind. Diese Lücke sehen Sie nicht in der Search Console allein, denn sie zeigt Ihnen das Ergebnis, nicht die Ursache. Was Sie brauchen, ist ein vollständiger Crawl Ihrer eigenen Website, den Sie Zeile für Zeile mit der Sitemap vergleichen können.
Genau dafür ist ein Desktop Crawler gebaut. Crawlen Sie Ihre Domain, gleichen Sie sie dann mit den URLs in Ihrer Sitemap ab und stellen Sie die Fragen jedes Grundes. Welche Sitemap URLs liefern einen anderen Status als 200. Welche leiten weiter. Welche tragen ein noindex Tag oder einen Canonical, der woanders hin zeigt. Welche sind in der robots.txt gesperrt. Welche Seiten haben fast keinen einzigartigen Inhalt. Jede davon ist eine URL, um deren Indexierung Ihre Sitemap Google nicht bitten sollte, und sie zu finden macht aus einem vagen “Google ignoriert meine Sitemap” eine konkrete Liste von Korrekturen.
Diese Art Prüfung können Sie kostenlos selbst durchführen. Seodisias crawlt Ihre gesamte Website auf Ihrem eigenen Rechner, unter Windows, macOS oder Linux, ohne URL Grenze und ohne dass Daten Ihren Computer verlassen, sodass Sie Ihre Live Seiten gegen Ihre Sitemap stellen und die Abweichungen direkt sehen. Wenn die Seiten, die Sie einreichen, und die Seiten, die Google findet, endlich dieselbe Website beschreiben, wirkt die Sitemap nicht mehr ignoriert, weil nichts mehr darin ist, das Google abwerten könnte.
Fazit
Google ignoriert Ihre Sitemap nicht aus Bosheit, und ein erneutes Einreichen ändert nichts. Eine Sitemap ist ein Hinweis, und Google wertet ihn aus konkreten Gründen ab: Die URLs widersprechen den Seiten durch Weiterleitungen, noindex Tags oder Canonicals, das lastmod Feld hat seine Glaubwürdigkeit verloren, die Datei wurde nie sauber abgerufen, oder die Seiten sind schlicht keinen Indexplatz wert. Jeder dieser Punkte ist diagnostizierbar und behebbar, aber erst, wenn Sie die Sitemap nicht mehr als Befehl, sondern als Behauptung behandeln, die Sie belegen müssen.
Der nächste Schritt ist, nicht zu raten, sondern hinzuschauen. Crawlen Sie Ihre eigene Website, vergleichen Sie sie mit der Sitemap und lassen Sie die Abweichungen Ihnen sagen, welcher der vier Gründe greift. Beheben Sie diese, halten Sie die Datei auf sauberen kanonischen URLs, die Sie verteidigen würden, und geben Sie Google eine Sitemap, die es keinen Grund hat zu ignorieren.