Robots.txt 生成器
可视化配置您的网站爬虫协议。 支持多 User-Agent 规则、一键屏蔽 AI 抓取、即时预览与下载。
规则配置
使用 * 代表所有爬虫。或输入特定爬虫名如 Googlebot。
每行一个路径。以 / 开头。
用于覆盖禁止规则中的特例。
告诉搜索引擎您的站点地图位置，加速收录。
文件预览: robots.txt
Robots.txt 语法参考
User-agent: *
匹配所有爬虫。通常放在文件的开头或特定规则之后作为默认规则。
Disallow: /private/
禁止爬虫访问 /private/ 目录下的所有文件。
Allow: /private/image.jpg
即使父目录被禁止，也允许访问特定的文件。Allow 的优先级通常高于 Disallow。
Sitemap: URL
指定站点地图的位置，帮助爬虫更快地发现网站上的所有链接。
常见问题 FAQ
Robots.txt 必须要有吗？
虽然不是强制的，但强烈建议拥有。如果没有这个文件，爬虫会默认您的网站所有内容都是可以随意抓取和收录的，这可能导致后台页面、重复内容被搜索引擎收录，影响 SEO 排名。
我不懂代码，能用这个生成的直接上传吗？
完全可以！我们的生成器遵循标准的爬虫协议。如果您是普通的个人网站或企业官网，直接使用“默认允许所有”并添加 Sitemap 即可。
如何屏蔽 ChatGPT 抓取我的内容？
在右侧点击“屏蔽 AI 爬虫”按钮即可。它会自动添加针对 GPTBot (OpenAI)、CCBot (Common Crawl) 等常见 AI 数据采集器的禁止规则。