Beim Robot oder Webcrawler handelt es sich um Programme, die automatisch das Internet nach neuen Seiten und Informationen durchsucht und in den Index der Suchmaschinen mit aufnehmen.