robots.txt
Mit der Datei robots.txt, welche in das Stammverzeichnis einer Domain kopiert wird, kann man verhindern, dass eine Datei vom Robot einer Suchmaschine gefunden wird.
Mit der Datei robots.txt, welche in das Stammverzeichnis einer Domain kopiert wird, kann man verhindern, dass eine Datei vom Robot einer Suchmaschine gefunden wird.