Robots-generator

Visuelt tilpas crawler-regler for at guide søgemaskiner til præcis indeksering
Søgemaskine crawler (User-agent):
Global strategi (*)
Forbyd crawling
XML Sitemap indeks URL:
Preview: robots.txt
User-agent: *
Disallow: /admin/