Robots 生成器

可视化定制爬虫协议,引导搜索引擎精准抓取。
搜索引擎爬虫 (User-agent):
全局策略 (*)
屏蔽抓取
XML 地图索引路径:
Preview: robots.txt
User-agent: *
Disallow: /admin/