EN
Crawling

Crawling

Crawling hängt unmittelbar mit Indexierung zusammen. Um die Indexierung anzupassen, beziehungsweise zu optimieren, können Sie Google dabei lenken, wie es beim Crawling auf Ihrer Seite vorgeht.

Sitemap(s)

Das Sitemap leitet Google dabei an, wie das Crawling Ihrer Seite stattfinden soll. Obwohl Google nicht garantiert, dass die Google Bots entsprechend Ihrer Vorgaben arbeiten, ist es trotzdem in den meisten Fällen sehr angeraten, Sitemaps zu verwenden. Darin sind viele nützliche Informationen über jede Seite Ihrer Website enthalten, unter anderem das letzte Änderungsdatum, welche Prioritäten Ihre Website setzt und wie oft sie aktualisiert wird.

Robots

Robots erstellen in Abhängigeit Ihres User Agents Vorgaben dazu, welche Teile einer Seite zugänglich sind. Sicherzustellen, dass Sie die Bots der relevanten Suchmaschinen nicht ausschließen ist daher essentiell.

metas

Sie können den Google Bot auch im Code leiten, indem Sie für jede Seite Tags setzen, die gängigsten sind: follow/noFollow und index/noindex.

Search Console

Sie können URLs in der Google Search Console direkt an den Google Index senden. Dies ist besonders hilfreich im Zusammenhang mit Crawling, also wenn Sie sich für bestimmte Seiten eine Vorzugsbehandlung bei Crawling und Indexierung wünschen.

Indexation Google Crawl Credit

Ein entscheidender Faktor den Crawling und Indexierung gemeinsam haben ist, dass für Webseiten mit vielen Seiten (indexiert oder nicht), der Umfang, in dem die Google Bots bei jedem Besuch auf Ihrer Seite Crawling durchführen, begrenzt ist. Es ist daher wichtig, dass Sie beobachten und gezielt auswählen welche Ihrer Seiten indexiert werden müssen und warum (nicht alle Seiten müssen indexiert werden, vor allem bei sich wiederholenden Inhalten).