robotstxt 指南：robots.txt 写法、语法与抓取优化

📍 WDQWDWQD987AAAAA:216.73.216.23
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /bc94c939f1bf.html
📄

robotstxt（通常写作 robots.txt）是网站与搜索引擎爬虫沟通的第一道协议。它放置在网站根目录，用来告诉搜索引擎哪些页面可以抓取、哪些应当避开。正确配置 robotstxt，既能保护后台与隐私目录，也能帮助爬虫更高效地发现重要内容。

robotstxt 的基本语法

robotstxt 采用简单的键值结构，常见字段包括 User-agent、Disallow、Allow 和 Sitemap。User-agent 指定规则适用的爬虫，Disallow 声明禁止抓取的路径，Allow 用于在禁止目录中放行特定路径，Sitemap 则向爬虫提供站点地图地址。

• User-agent: * 表示规则适用于所有爬虫。
• Disallow: /admin/ 可阻止抓取后台目录。
• Allow: /admin/public/ 可在禁止目录中放行公开页面。
• Sitemap: https://example.com/sitemap.xml 用于声明站点地图。

robotstxt 的常见误区

很多站点误以为 robotstxt 能阻止页面被索引，实际上它只限制抓取，不限制索引。如果重要页面被 Disallow 屏蔽，搜索引擎可能无法读取内容，却仍可能根据外链收录该 URL。此外，robotstxt 对恶意爬虫没有强制力，敏感数据应通过权限控制保护，而不是依赖 robotstxt。

robotstxt 的优化建议

1. 将 robotstxt 放在域名根目录，确保返回 200 状态码。
2. 使用简洁明确的规则，避免过度复杂的通配符。
3. 定期检查 Search Console 中的抓取报告，确认没有误屏蔽重要资源。
4. 在 robotstxt 中声明 Sitemap，帮助爬虫快速发现新页面。

总之，robotstxt 是 SEO 基础配置之一。合理使用 robotstxt，结合站点地图与抓取分析，可以让搜索引擎更顺畅地访问网站核心内容，同时减少无效抓取与资源浪费。