robots.txt 是什么?robots.txt 的作用与正确写法详解

📍 WDQWDWQD987AAAAA:216.73.216.23
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /feecbb3cabea.html
📄

很多站长在网站上线后只关注内容和外链,却忽略了站点根目录下一个很小的文件——robots.txt。它虽然只有几行文本,却直接影响搜索引擎抓取网站的方式。理解 robots.txt 的作用、语法和常见误区,是做好 SEO 的基础工作之一。

robots.txt 是什么

robots.txt 是存放在网站根目录下的纯文本文件,遵循 Robots 协议(也称爬虫协议)。搜索引擎蜘蛛在抓取网站前,通常会先请求这个文件,读取其中的规则,从而判断哪些目录可以抓取、哪些应当避开。需要注意的是,robots.txt 是一种约定而非强制手段,遵守与否取决于爬虫自身,因此它不能替代访问权限控制。

robots.txt 的常见作用

基本语法与示例

常见指令包括 User-agent、Disallow、Allow 和 Sitemap。例如禁止所有蜘蛛抓取 admin 目录,可以写成 User-agent: * 与 Disallow: /admin/。若要单独放行某个子目录,可用 Allow 指令;声明站点地图时使用 Sitemap 指令并填写完整网址。规则按最长匹配优先,写完后建议用搜索引擎官方工具验证。

常见误区

第一,把 robots.txt 当作保密工具,实际上文件本身可被公开访问。第二,误用 Disallow 屏蔽整站,导致页面从搜索结果中消失。第三,希望用 robots.txt 阻止页面被收录,正确做法应是使用 noindex 元标签。第四,规则写错目录路径,造成重要内容无法被抓取。

总之,robots.txt 虽小,却是网站与搜索引擎沟通的第一道门槛。上线前认真检查规则、定期复查抓取状态,才能让蜘蛛更高效地发现和收录优质内容。

图1 图2

nginx