可视化配置生成符合搜索协议的 Robots.txt 文件,支持Sitemap配置
这是在线可视化生成 Robots.txt 文件的开发工具。帮网站开发者快速配置搜索引擎爬虫的访问权限,不用手动写代码规则。
生成内容遵循 Google 官方《Robots 排除协议》标准,兼容百度、必应等所有主流搜索引擎的爬虫解析规则,输出格式可直接部署上线。
放在网站根目录生效。你需要将生成的内容保存为 robots.txt 文件,上传到网站域名对应的根目录即可。
当前版本暂不支持单爬虫规则配置,仅支持配置所有搜索引擎爬虫的统一规则。
没有内容长度限制,支持最多添加 20 条禁止路径,满足绝大多数网站需求。
不是必须的,不填写就不会生成对应规则。Sitemap 可帮助搜索引擎更快发现网站页面,推荐填写。