Das SEO-Crawler-Tool für den Audit tausender Standortseiten

Multi-Standort-Websites im großen Maßstab auditieren: Warum Cloud-Tools an ihre Grenzen stoßen

Eine regionale Pizzakette mit 400 Filialen braucht pro Standort eine eigene Landingpage: Adresse, Öffnungszeiten, eingebettete Karte, lokale Bewertungen. Kommen noch Liefergebiet-Varianten für Lieferung und Abholung sowie Duplikate auf Stadtebene hinzu, liegt die URL-Zahl vor dem ersten Blogartikel schon über 1.000. Eine landesweite Versicherungsagentur mit 2.000 Agentenseiten erreicht fünfstellige Zahlen, sobald paginierte Verzeichnisseiten mitgezählt werden.

Die meisten cloudbasierten SEO-Crawler-Tools berechnen nach URL oder nach Crawl-Guthaben. Ein Tarif, der eine 200-seitige Marketing-Website locker abdeckt, ist bei einer tausendfach wiederholten Standortseiten-Vorlage schnell erschöpft. Die Website einmal komplett crawlen, an die URL-Grenze stoßen, den Tarif upgraden, im nächsten Monat erneut crawlen, erneut upgraden, und aus dem Tool, das beim Signup erschwinglich wirkte, wird eine laufende Kostenposition, die direkt an die Filialzahl gekoppelt ist. JavaScript-Rendering, nötig für Kartenintegrationen und dynamische Öffnungszeiten, liegt oft in einem separaten, kostenpflichtigen Tarif oben auf dem Grundpreis.

Für eine Franchise-Marke oder eine Agentur, die mehrere Multi-Standort-Kunden gleichzeitig betreut, ist das kein Nebenposten. Es ist ein Kostenfaktor, der mit der Expansion des Kunden mitwächst: Zehn weitere Filialen eröffnen, und der nächste Audit kostet mehr, noch bevor ein einziges technisches Problem gefunden wurde. Die Rechnung geht ausgerechnet gegen die Unternehmen auf, die häufige Audits am dringendsten brauchen, denn neue Standorte bedeuten neue Vorlagen, neue Weiterleitungen und neue Gelegenheiten für Fehler im großen Maßstab.

Typische technische SEO-Probleme bei Multi-Standort-Websites

Eine Franchise-Standortseite und ihre 400 Geschwister teilen sich meist eine Vorlage, in der nur drei Variablen ausgetauscht werden: Stadtname, Adresse, Telefonnummer. Genau das ist die Falle. Suchmaschinen sehen hunderte Seiten mit identischem Absatzaufbau, identischer Leistungsliste, identischem Testimonial-Block, nur die Geo-Angaben ändern sich. Solch dünne Duplikate werden nicht als Spam markiert, sie werden ignoriert, und Seiten fallen nach und nach aus dem Index, ohne eine deutliche Warnung in der Search Console außer dem stillen Hinweis “Gecrawlt - zurzeit nicht indexiert”.

Defekte interne Links summieren sich auf die gleiche Weise. Eine Filiale in Ohio schließt, das Marketing tauscht die Standortseite aus, vergisst aber das Modul “Standorte in der Nähe”, das von einem Dutzend anderer Stadtseiten dorthin verlinkt. Multipliziert man das über ein Netzwerk mit vierteljährlichen Eröffnungen und Schließungen, sammelt eine Website tote Links an, die kein einzelner Content-Redakteur von Hand nachverfolgen kann.

LocalBusiness-Schema bringt einen dritten Fehlermodus ins Spiel. Jede Standortseite braucht ihren eigenen JSON-LD-Block mit passender Adresse, Telefonnummer und Öffnungszeiten, und Vorlagen machen es leicht, einen Wert fest zu codieren und ein Skript den Rest falsch befüllen zu lassen, etwa eine zentrale Telefonnummer, die in zweihundert Standort-Schemas landet statt der filialspezifischen Nummer. Rich-Results-Prüfungen markieren das als Fehler, meist aber erst, nachdem der Schaden an der Sichtbarkeit im Local Pack bereits entstanden ist.

Weiterleitungsketten entstehen, wenn eine Franchise-Website ihr URL-Muster umstrukturiert, etwa von /locations/city-name zu /stores/state/city-name, und das Migrationsskript neue Weiterleitungen auf die alten aufsetzt, statt sie zu ersetzen. Ein Crawler, der die alte URL aufruft, springt über zwei oder drei Zwischenstationen, bevor er die aktuelle Seite erreicht, und jeder Sprung verbraucht Crawl-Budget, das eine Suchmaschine bei einer Website mit fünftausend Seiten nicht unbegrenzt investiert.

Keines dieser vier Probleme taucht in einer aggregierten Crawl-Zusammenfassung auf. Ein Bericht, der sagt “12 % der Seiten haben doppelte Title-Tags”, sagt nicht, welche 480 Seiten das sind oder ob sie sich in der Franchise-Gruppe einer bestimmten Region häufen. Multi-Standort-Audits funktionieren nur, wenn jede einzelne URL gegen jede Regel geprüft wird, denn das Fehlermuster betrifft fast immer nur einen Teilbereich der Website, nicht das Ganze.

Die Kehrseite von URL-Limits und Kosten: Warum Cloud-Crawler nicht skalieren

Eine Kette mit 800 Filialen bedeutet 800 Landingpages, noch bevor jemand Leistungsseiten, Stadt-Varianten oder saisonale Aktionen mitzählt. Ab etwa 2.000 URLs wird die kostenlose Version von Screaming Frog unbrauchbar: Die Lizenz deckelt kostenlose Crawls bei 500 URLs, ein mittelgroßes Franchise-Netzwerk zu auditieren heißt also entweder eine kostenpflichtige Lizenz kaufen oder die Website manuell in willkürliche Teile zerlegen, nur um unter der Grenze zu bleiben.

Cloudbasierte Crawler tauschen ein Limit gegen ein anderes. JavaScript-Rendering, auf das ein wachsender Anteil der Standortseiten-Vorlagen für Öffnungszeiten, Bewertungs-Widgets und dynamische Karteneinbindungen angewiesen ist, steckt hinter dem gleichen separaten, kostenpflichtigen Tarif, und der Preis pro URL oder pro Guthaben-Einheit summiert sich weiter, sobald eine Franchise neue Filialen eröffnet oder eine Agentur denselben Audit bei mehreren Kunden fährt. Eine Standortseite, die im Browser einwandfrei rendert, kommt im Crawl-Bericht als fast leere Hülle zurück, solange Rendering nicht aktiviert ist, und genau dort wächst die Rechnung meist am schnellsten.

Unabhängig von den Kosten verändern Kontingent-Systeme die Arbeitsweise von Teams. Auditoren fangen an, stichprobenartig zu prüfen: 500 repräsentative Standorte crawlen und hoffen, dass sich das Muster auf den Rest übertragen lässt. Meist stimmt das nicht. Eine Weiterleitungskette aus der CMS-Migration eines einzelnen Standorts oder ein Schema-Fehler, der in einen frischen Stapel Stadtseiten kopiert wurde, liegt außerhalb der Stichprobe und bleibt online, bis eine Kundenbeschwerde oder ein Ranking-Einbruch ihn ans Licht bringt.

Unbegrenztes Crawling mit Seodisias: Lokal, kostenlos, schnell

Seodisias läuft als Desktop-Anwendung, nicht als gehosteter Crawler, den man über einen Browser-Tab erreicht. Herunterladen, öffnen, auf die Sitemap der Standortseiten eines Kunden richten. Es gibt kein Konto zu registrieren, keinen Lizenzschlüssel zu aktivieren, bevor das Tool funktioniert, und keine Testphase, die tickt, während fünfhundert Franchise-Standorte auditiert werden.

Der Crawl selbst hat keine URL-Obergrenze. Eine Handelskette mit 3.000 Standortseiten läuft in derselben Art von Durchlauf wie eine Kette mit 30. Welches Limit ein Cloud-Tool auch pro Projekt oder pro Monat ansetzt, hier gibt es das nicht, weil der Crawl auf der eigenen Rechenleistung der Maschine läuft statt auf abgerechneter Serverkapazität eines Anbieters.

JavaScript-Rendering ist in diesem kostenlosen Durchlauf enthalten, nicht als Zusatzoption verkauft. Viele Multi-Standort-Vorlagen bauen den Filialfinder, das Öffnungszeiten-Widget oder die eingebettete Karte mit clientseitigem JavaScript, und ein Crawler, der nur rohes HTML liest, übersieht, was eine Suchmaschine auf diesen Seiten tatsächlich sieht. Seodisias rendert die Seite so, wie es ein Browser tun würde, bevor Links, Schema und Statuscodes extrahiert werden, geprüft wird also der tatsächliche Inhalt der Standortseite, nicht eine abgespeckte Version davon.

Die lokale Ausführung verändert Kosten und Datenschutz gleichzeitig. Nichts am Crawl lädt die Website-Daten eines Kunden auf einen Server Dritter hoch, was direkt relevant wird, wenn eine Agentur eine Franchise-Website unter einer Geheimhaltungsvereinbarung auditiert. Und weil im Hintergrund keine Abrechnung pro URL läuft, kostet das Crawlen einer Kette mit tausenden Seiten genau das, was das Crawlen einer Website mit einem einzigen Standort kostet: nichts.

Seodisias läuft unter Windows, macOS und Linux, der Audit hängt also nicht davon ab, welcher Rechner an dem Tag im Büro gerade frei ist oder ob das Laptop des Analysten zu der Plattform passt, für die das Tool gebaut wurde.

Das ändert nichts daran, was der Crawl prüfen muss. Standortseiten brauchen weiterhin dieselben Crawl-Regeln, Sitemap-Eingaben und Schema-Prüfungen wie jede andere Website. Was sich ändert: Diese Prüfung bei tausenden URLs statt bei Dutzenden auszuführen, ändert nichts an den Kosten, um herauszufinden, was kaputt ist.

Schritt für Schritt: Von der Sitemap zu den Berichten

Crawler auf die sitemap.xml der Multi-Standort-Website oder eine einzelne Root-URL richten und die Standortseiten selbst entdecken lassen. Seodisias liest robots.txt, folgt internen Links und reiht jede gefundene Standort-, Leistungs- und Stadt-Kombinationsseite in die Warteschlange ein, ohne vorher nach einem URL-Limit oder einem Login zu fragen.

Crawl-Tiefe und Parallelität einstellen, dann den Durchlauf starten. Bei einer Website mit 3.000 Standortseiten ist ein lokaler Crawl auf einem Laptop der Mittelklasse in Minuten fertig statt in den Stunden, die ein in einer Warteschlange wartender Cloud-Job braucht, weil keine Abrechnung pro URL das Tempo drosselt.

Nach Abschluss des Crawls tragen drei Berichte den größten Teil der Diagnose:

• Bericht zu defekten Links: jeder 404 und jeder tote interne Link, gruppiert nach Ausgangsseite. Bei einer Franchise-Website tauchen hier meist Links auf, die noch auf eine geschlossene oder umbenannte Filiale zeigen.
• Schema-Bericht: fehlendes oder fehlerhaftes LocalBusiness-Markup, Telefonnummern oder Adressen, die zwischen Schema-Block und sichtbarem Seiteninhalt nicht übereinstimmen, sowie doppeltes Schema, das nach einer Vorlagenänderung zurückgeblieben ist.
• Bericht zu Weiterleitungsketten: jede Zwischenstation zwischen der ursprünglichen URL und dem endgültigen Ziel. Hier zeigen sich alte Standort-Links, die nach einer Änderung der URL-Struktur über zwei oder drei Weiterleitungen springen.

Jeden Bericht als CSV exportieren, die Liste der defekten Links an den Verantwortlichen für die Standortdaten übergeben und nach dem Livegang der Korrekturen nur die betroffenen URLs erneut crawlen. Für die Nachprüfung muss kein zusätzliches URL-Kontingent gekauft werden, und für das Rendern der JavaScript-Seiten im Batch fällt keine separate Gebühr an.

Agentur-Maßstab: Mehrere Kunden, unbegrenzte Audits

Agenturarbeit multipliziert genau dieses Limit. Die meisten Cloud-Crawler berechnen nach Sitzplatz oder nach URL-Pool, und die Standortseiten jedes Kunden zählen dagegen: Ein Franchise-Konto mit 3.000 Seiten und eine Regionalkette mit 900 Seiten teilen sich kein Budget, sodass die Agentur am Ende getrennte Abonnements kauft oder jeden Crawl drosselt, damit er in einen Tarif passt.

Seodisias entfernt diesen Multiplikator. Jeder Audit läuft auf der Maschine, die die Arbeit erledigt, ein zweiter Kunde bedeutet also keine zweite Rechnung. Die Crawl-Daten jedes Kunden bleiben zudem lokal, im eigenen Ordner oder in der eigenen Sitzung, niemals in einem geteilten Konto hochgeladen, was relevant wird, wenn ein Vertrag festlegt, wo Kundendaten liegen dürfen.

Was Seodisias noch nicht hat: einen gemeinsamen Team-Arbeitsbereich, kundenbezogene Nutzerrechte oder ein Dashboard, das mehrere Konten nebeneinander verfolgt. Das sind agenturspezifische Funktionen, kein Teil des kostenlosen Crawlers, sie gehören zu einem künftigen kostenpflichtigen Tarif, der noch nicht veröffentlicht ist. Das Crawlen und Reporting, das eine Agentur heute über beliebig viele Kunden-Websites hinweg ausführt, bleibt kostenlos und unbegrenzt.

Seodisias herunterladen und einen vollständigen Audit gegen die Sitemap des nächsten Multi-Standort-Kunden fahren, kein Login, kein URL-Limit, keine Rechnung.