IT Service Uwe Schraepler

Um die Datei robots.txt einer Website zu prüfen, gibt es ein hilfreiches Tool im Web: http://www.sxw.org.uk/computing/robots/check.html .

Die Datei robots.txt wird von den Suchmaschinen (mehr oder weniger ;)) beachtet, eine Beschreibung dieser Datei ist hier http://de.selfhtml.org/diverses/robots.htm zu finden.