robots.txt 完全指南:SEO 必知的抓取规则与配置方法
📍 WDQWDWQD987AAAAA:216.73.216.186
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /b4d27faf95e3.html
📄
什么是 robots.txt
robots.txt 是存放在网站根目录下的纯文本文件,用于告诉搜索引擎爬虫(如 Googlebot、Baiduspider)哪些页面可以抓取、哪些应当避开。它是 Robots 协议 的实现载体,属于“建议性”规则,主流爬虫会遵守,但恶意爬虫并不受其约束。
robots.txt 的基本语法
文件由若干条记录组成,每条记录包含 User-agent 与若干指令,常见指令如下:
- User-agent:指定规则适用的爬虫,* 代表所有爬虫
- Disallow:禁止抓取的路径,值为 / 时表示全站禁止
- Allow:允许抓取的路径,可覆盖 Disallow 的限制
- Sitemap:声明站点地图地址,帮助爬虫发现页面
常见配置示例
示例一:允许全站抓取
User-agent: *
Disallow:
示例二:屏蔽后台目录
User-agent: *
Disallow: /admin/
Disallow: /tmp/
示例三:指定站点地图
User-agent: *
Disallow:
Sitemap: https://www.example.com/sitemap.xml
配置注意事项
- 文件必须命名为小写 robots.txt,放在域名根目录,路径区分大小写。
- 注意 Allow 与 Disallow 的优先级:最长匹配路径优先,长度相同时 Allow 优先。
- 不要用 robots.txt 屏蔽重要页面或 CSS/JS 资源,否则可能影响索引与渲染。
- 屏蔽私密内容应使用登录鉴权或 noindex,robots.txt 不能真正保护隐私。
调试与验证
上线后可使用搜索引擎站长平台的 robots.txt 测试工具验证规则;同时检查返回状态码是否为 200,避免服务器错误导致爬虫误判。定期审查文件,防止误屏蔽影响收录。