SEO / Crawler

Crawler werden auch Spider oder Bots genannt. Es sind Programme, meist von Suchmaschinen, die das gesamte Internet nach Informationen durchsuchen. Dabei durchforsten sie Webseiten auf der Suche nach Inhalten und analysieren diese im Anschluss. Unter Einbezug einiger andere Faktoren, dienen die gewonnenen Informationen dann dazu Webseiten bei den Ergebnissen der Suchmaschinen in eine Reihenfolge zu bringen.