📖 Glossar-Eintrag

Crawling

Der Prozess, bei dem Suchmaschinen-Bots Webseiten systematisch durchsuchen und deren Inhalte erfassen.

Aktualisiert: März 2026 SEOX GmbH, Zürich 25+ Jahre SEO-Erfahrung

Geprüft von SEOX-ExpertenDieser Artikel wurde von unserem Team mit über 25 Jahren Erfahrung in SEO und digitalem Marketing verfasst und geprüft.

Was ist Crawling?

Crawling bezeichnet den Prozess, bei dem Suchmaschinen-Bots (auch Spider oder Crawler genannt) das Internet systematisch durchsuchen, Links folgen und Webseiten-Inhalte erfassen.

Wie funktioniert der Googlebot?

Der Googlebot startet mit einer Liste bekannter URLs, folgt Links auf diesen Seiten und entdeckt so neue Inhalte. Die Crawl-Frequenz hängt von der Website-Autorität und der Aktualisierungsrate ab.

Crawl-Budget – Jede Website hat ein begrenztes Budget, das Google für das Crawling aufwendet
Robots.txt – Steuert, welche Bereiche gecrawlt werden dürfen
Sitemap – Hilft Google, alle wichtigen Seiten zu finden