robots.txt 完全指南:SEO 必知的抓取规则与配置方法

📍 WDQWDWQD987AAAAA:216.73.216.186
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /b4d27faf95e3.html
📄

什么是 robots.txt

robots.txt 是存放在网站根目录下的纯文本文件,用于告诉搜索引擎爬虫(如 Googlebot、Baiduspider)哪些页面可以抓取、哪些应当避开。它是 Robots 协议 的实现载体,属于“建议性”规则,主流爬虫会遵守,但恶意爬虫并不受其约束。

robots.txt 的基本语法

文件由若干条记录组成,每条记录包含 User-agent 与若干指令,常见指令如下:

常见配置示例

示例一:允许全站抓取

User-agent: *
Disallow:

示例二:屏蔽后台目录

User-agent: *
Disallow: /admin/
Disallow: /tmp/

示例三:指定站点地图

User-agent: *
Disallow:
Sitemap: https://www.example.com/sitemap.xml

配置注意事项

  1. 文件必须命名为小写 robots.txt,放在域名根目录,路径区分大小写。
  2. 注意 Allow 与 Disallow 的优先级:最长匹配路径优先,长度相同时 Allow 优先。
  3. 不要用 robots.txt 屏蔽重要页面或 CSS/JS 资源,否则可能影响索引与渲染。
  4. 屏蔽私密内容应使用登录鉴权或 noindex,robots.txt 不能真正保护隐私。

调试与验证

上线后可使用搜索引擎站长平台的 robots.txt 测试工具验证规则;同时检查返回状态码是否为 200,避免服务器错误导致爬虫误判。定期审查文件,防止误屏蔽影响收录。

图1 图2

nginx