Was ist eine Robots.txt-Datei?
Die Robots.txt-Datei ist eine Textdatei auf einer Webseite, die von Suchmaschinenrobotern (auch “Crawler” oder “Spider” genannt) verwendet wird, um zu bestimmen, welche Seiten und Inhalte auf der Webseite indexiert werden dürfen und welche nicht.