正在加载,请稍候…
可视化配置 User-Agent、Allow/Disallow 规则、Host 与 Sitemap,实时生成 robots.txt 并支持复制与下载。
* 表示所有爬虫,也可指定如 Googlebot。
使用说明