Was das Werkzeug tut
Der SEO Spider ist ein Programm für Windows, macOS und Linux. Er startet bei einer URL, folgt allen Links und sammelt für jede gefundene Seite Daten:
- Statuscode und Weiterleitungen
- Title, Meta-Beschreibung, Überschriften
- Canonical, Meta-Robots, hreflang
- interne und externe Links, Ankertexte
- Bilder und Alternativtexte
- Wortanzahl, Antwortzeit, Seitengröße
- strukturierte Daten
- Klicktiefe
In der kostenlosen Version lassen sich bis zu 500 URLs crawlen. Die kostenpflichtige Lizenz hebt diese Grenze auf und schaltet zusätzliche Funktionen frei.
Grundeinstellungen
Speicher
Für große Websites empfiehlt sich der Datenbankmodus statt des Arbeitsspeichermodus. Damit lassen sich auch Crawls mit Hunderttausenden URLs durchführen.
Crawler-Einstellungen
- User-Agent: Standardmäßig identifiziert sich der Crawler als Screaming Frog. Er kann auch als Googlebot auftreten, um zu sehen, was Google sieht.
- robots.txt: beachten oder ignorieren, etwa um gesperrte Bereiche trotzdem zu prüfen.
- Geschwindigkeit: Die Zahl gleichzeitiger Abrufe sollte so gewählt werden, dass der Server nicht überlastet wird.
JavaScript-Rendering
Für Websites, die Inhalte per JavaScript erzeugen, gibt es einen Rendering-Modus mit einem eingebauten Chromium-Browser. Der Vergleich zwischen rohem und gerendertem HTML zeigt, welche Inhalte erst durch JavaScript entstehen. Mehr im Beitrag zu JavaScript-SEO.
Die wichtigsten Auswertungen
| Bereich | Was prüfen | Häufige Befunde |
|---|---|---|
| Statuscodes | 4xx, 5xx, 3xx | defekte interne Links, Weiterleitungsketten |
| Titel | fehlend, doppelt, zu lang | gleiche Titel auf vielen Seiten |
| Meta-Beschreibungen | fehlend, doppelt | Standardtexte |
| Überschriften | fehlende oder mehrere H1 | Logo als H1, Überschriften nach Aussehen |
| Canonicals | fehlend, auf andere Seiten, auf Weiterleitungen | widersprüchliche Signale |
| Indexierbarkeit | Noindex, blockiert, kanonisiert | wichtige Seiten versehentlich ausgeschlossen |
| Klicktiefe | Seiten tiefer als drei bis vier Klicks | wichtige Seiten schwer erreichbar |
| Inhalte | wenig Text, Duplikate, Ähnlichkeit | dünne oder nahezu gleiche Seiten |
| Bilder | große Dateien, fehlende Alternativtexte | unkomprimierte Bilder |
| hreflang | fehlende Rückverweise, falsche Codes | nicht funktionierende Länderversionen |
Anbindung an andere Datenquellen
Mit einer Lizenz lassen sich die Search Console, Google Analytics 4 und PageSpeed Insights anbinden. Der Crawl wird dann um Klicks, Impressionen, Sitzungen und Core Web Vitals ergänzt. Das ermöglicht besonders aufschlussreiche Auswertungen:
- Verwaiste Seiten: Seiten, die in der Search Console Klicks erhalten oder in der Sitemap stehen, aber im Crawl nicht über interne Links gefunden wurden. Siehe verwaiste Seiten.
- Seiten ohne Besucher: indexierbare Seiten ohne Klicks und Sitzungen, Kandidaten für einen Content-Audit.
- Wichtige Seiten mit Problemen: Seiten mit vielen Klicks und technischen Fehlern werden zuerst behoben.
Benutzerdefinierte Extraktion
Mit XPath, CSS-Selektoren oder regulären Ausdrücken lassen sich beliebige Daten aus den Seiten auslesen, etwa:
- Veröffentlichungsdatum und Autor von Artikeln
- Preise und Verfügbarkeit von Produkten
- Anzahl der Produkte in Kategorien
- bestimmte Textbausteine oder Skripte
So wird der Crawler zu einem flexiblen Werkzeug für viele Fragestellungen.
Weitere nützliche Funktionen
- Listenmodus: eine Liste von URLs prüfen, etwa alle alten URLs vor einem Relaunch gegen die neue Website
- Vergleich von Crawls: Veränderungen zwischen zwei Crawls sichtbar machen
- Visualisierung: die Struktur der Website als Baum oder Netz darstellen
- Planung: regelmäßige Crawls automatisch ausführen
- Segmente: Seiten nach Typ gruppieren, etwa Ratgeber, Produkte, Kategorien
Vor jedem Relaunch: Ein vollständiger Crawl der alten Website ist das wichtigste Dokument für das URL-Mapping. Nach dem Relaunch prüft der Listenmodus, ob alle alten URLs korrekt weiterleiten. Mehr im Beitrag zum Website-Relaunch.
Alternativen
Andere Crawler wie Sitebulb, Lumar, Botify, JetOctopus oder die Crawler in Semrush und Ahrefs bieten ähnliche Funktionen, teils cloudbasiert und mit anderen Schwerpunkten. Für die meisten Aufgaben ist Screaming Frog eine sehr gute und preiswerte Wahl.
Eine technische Prüfung in fünf Schritten
- Crawl der gesamten Website mit Standardeinstellungen, bei JavaScript-Websites mit Rendering.
- Statuscodes prüfen: interne Links auf 404-Seiten und Weiterleitungen korrigieren.
- Indexierbarkeit prüfen: Welche Seiten sind auf Noindex, kanonisiert oder blockiert? Ist das gewollt?
- Inhalte prüfen: doppelte Titel, fehlende Beschreibungen, mehrere H1, sehr kurze Seiten, nahezu identische Inhalte.
- Struktur prüfen: Klicktiefe wichtiger Seiten, verwaiste Seiten, interne Verlinkung der wichtigsten Seiten.
Die Ergebnisse lassen sich als Tabellen exportieren und nach Priorität sortieren. Für Berichte bietet das Werkzeug fertige Übersichten, die aber immer mit Blick auf die geschäftlich wichtigen Seiten eingeordnet werden sollten.
Crawls vergleichen
Mit der Vergleichsfunktion lassen sich zwei Crawls gegenüberstellen, etwa vor und nach einem Update der Website. Das zeigt neue Fehler, entfernte Seiten, geänderte Titel oder neue Weiterleitungen. Gerade bei Websites, an denen viele Personen arbeiten, deckt ein monatlicher Vergleich Probleme auf, bevor sie sich auf die Rankings auswirken.
Grenzen des Werkzeugs
Ein Crawler sieht nur, was über Links erreichbar ist. Seiten, die nicht verlinkt sind, findet er nicht, außer sie werden über die Sitemap oder eine Liste eingespeist. Außerdem simuliert er einen Crawler, aber nicht exakt den Googlebot. Wie Google eine Website tatsächlich crawlt, zeigen die Crawling-Statistiken der Search Console und eine Logfile-Analyse.
Oft gefragt
Reicht die kostenlose Version?
Für kleine Websites mit bis zu 500 URLs ja. Für größere Websites und die Anbindung an Search Console und Analytics ist die Lizenz nötig.
Kann ein Crawl meiner Website schaden?
Bei zu hoher Geschwindigkeit kann ein Crawl einen schwachen Server belasten. Mit angemessenen Einstellungen ist das kein Problem.
Wie oft sollte ich crawlen?
Bei aktiven Websites monatlich, nach größeren Änderungen sofort, vor und nach einem Relaunch immer.