Robots.txt
Beschreibung
Die Robots-Datei (robots.txt) steuert, auf welche Crawler zugegriffen werden kann oder nicht.
Beispiel
Block one folder
User-agent: * Disallow: /folder/
Block one file
User-agent: * Disallow: /file.html
Block all
User-agent: * Disallow: /
Allow all
User-agent: * Disallow:
User agents: google
User-agent: Googlebot