Robots-Generator
Visuelle Anpassung von Crawler-Regeln zur gezielten Steuerung von Suchmaschinen-Indizierung.Suchmaschinen-Crawler (User-agent):
Globale Strategie (*)
Regelpfad-Einstellung
Crawl verbieten
XML Sitemap Index-URL:
Preview: robots.txt
User-agent: * Disallow: /admin/