Was ist Crawling?
Crawling bezeichnet den Vorgang, bei dem Suchmaschinen das Internet systematisch durchsuchen. Spezielle Programme, sogenannte Crawler oder Bots, folgen dabei Links von Seite zu Seite und erfassen die Inhalte, die sie finden. Der bekannteste dieser Bots ist der Googlebot. Crawling ist der erste Schritt, bevor eine Seite überhaupt in den Suchergebnissen erscheinen kann.
Man kann sich einen Crawler wie einen unermüdlichen Leser vorstellen, der von Verweis zu Verweis springt und alles notiert, was er unterwegs entdeckt. Ohne Crawling wüsste Google nichts von einer Seite. Sie könnte weder bewertet noch angezeigt werden.
Wie das Crawling abläuft
Der Crawler startet bei bekannten Seiten und folgt von dort aus den Links, die er findet. Jeder neue Link kann zu einer weiteren Seite führen, die ebenfalls erfasst wird. So arbeitet sich der Bot Stück für Stück durch das Netz. Interne Verlinkung spielt dabei eine große Rolle, denn nur was verlinkt ist, wird auch gut gefunden.
Neben den entdeckten Links helfen zwei Werkzeuge, das Crawling zu steuern. Die Sitemap liefert dem Crawler eine Übersicht aller wichtigen Seiten. Die Robots.txt legt fest, welche Bereiche er betreten darf und welche nicht.
Crawl-Budget und häufige Probleme
Google wendet für jede Website nur begrenzte Ressourcen auf. Dieses sogenannte Crawl-Budget bestimmt, wie viele Seiten in einem bestimmten Zeitraum erfasst werden. Bei kleinen Websites spielt das kaum eine Rolle, bei sehr großen dagegen schon. Verschwendet eine Seite ihr Crawl-Budget an unwichtige oder fehlerhafte URLs, bleiben womöglich relevante Inhalte unentdeckt.
Typische Probleme sind Seiten, die von keinem Link erreichbar sind, Endlosschleifen durch fehlerhafte Verlinkung oder eine langsame Server-Antwort, die den Crawler ausbremst. Solche Hürden verhindern, dass Inhalte zuverlässig erfasst werden.
Crawling-Optimierung mit Klickx.de
Wenn Suchmaschinen deine Seiten nicht sauber crawlen können, bleibt selbst der beste Inhalt unsichtbar. Genau solche technischen Hürden decken wir bei Klickx.de auf. Wir prüfen, ob der Googlebot deine Website effizient erfassen kann, und beseitigen alles, was ihn dabei behindert.
Häufige Fragen zu Crawling
Was ist Crawling?
Crawling ist der Vorgang, bei dem Suchmaschinen mit speziellen Programmen, den Crawlern, das Internet systematisch durchsuchen und Inhalte erfassen. Es ist der erste Schritt, bevor eine Seite in den Suchergebnissen erscheinen kann.
Was ist der Googlebot?
Der Googlebot ist der Crawler von Google. Er folgt Links von Seite zu Seite und erfasst die Inhalte, die er findet, damit sie später bewertet und angezeigt werden können.
Was ist das Crawl-Budget?
Das Crawl-Budget bezeichnet die begrenzten Ressourcen, die Google für das Erfassen einer Website aufwendet. Bei sehr großen Websites entscheidet es mit, welche Seiten erfasst werden.
Wie kann man das Crawling steuern?
Über die Sitemap erhält der Crawler eine Übersicht wichtiger Seiten, über die Robots.txt lässt sich festlegen, welche Bereiche er betreten darf und welche nicht.