Webcrawler werden auch Searchbot oder Spider genannt und sind Computerprogramme, die automatisch das Internet durchsuchen und dabei Webseiten analysieren. Suchmaschinen wie Google oder Yahoo nutzen Webcrawler, um Websites zu durchsuchen und in ihren Index aufzunehmen.