EN
hamburger Open main menu

Robots.txt & SEO

Beschreibung

Die Robots-Datei (robots.txt) steuert, auf welche Crawler zugegriffen werden kann oder nicht.

Beispiel

Block one folder User-agent: * Disallow: /folder/ Block one file User-agent: * Disallow: /file.html Block all User-agent: * Disallow: / Allow all User-agent: * Disallow: User agents: google User-agent: Googlebot

Get in touch







clutch