Meta Robots-Tag:

Der Meta Robots-Tag wird im Head-Bereich einer Webseite gesetzt und soll das Verhalten eines Webcrawlers beeinflussen. So kann bestimmt werden, ob eine Seite indexiert oder nicht indexiert wird. Zudem kann auch festgelegt werden, ob Links auf der Seite verfolgt oder nicht verfolgt werden sollen. Wenn kein Meta Robots-Tag festgelegt wurde, wird die Webseite von den Webcrawlern im Datenbestand aufgenommen und folgt sämtlichen Links der Seite.