Robots.txt:

Die Robots.txt ist eine Textdatei, welche im Hauptverzeichnis einer Internetseite abgelegt wird, um Webcrawlern das Indexieren von bestimmten Dateien oder Ordner zu verhindern. Es ist zu empfehlen, Internetseiten, welche nicht indexiert werden sollen, mit einem passwortgeschützten Verzeichnis zu sichern.