robots meta 怎么设置:index、noindex 实操(2026)
robots meta 解决的是索引控制,不是抓取控制。本文讲清 index、noindex、follow 的常见用法与误区。
robots meta 解决的是索引控制,不是抓取控制。本文讲清 index、noindex、follow 的常见用法与误区。
`robots meta` 是页面级别的抓取与索引提示。它最常见的用途,不是“做一个 SEO 标签”,而是明确告诉搜索引擎:这页该不该进索引、页内链接要不要继续跟踪、搜索结果里是否允许展示摘要或缓存。
很多网站把 `robots meta` 和 `robots.txt` 混在一起理解,最后经常出现两类问题:该保留的页面被误设成 `noindex`,该清理的页面却一直留在索引里。页面级规则一旦写错,影响往往比标题写错还大。
`robots meta` 是放在 HTML `
` 里的 `` 标签,用来给搜索引擎传递页面级指令。最常见的写法如下:<meta name="robots" content="index, follow">
这表示页面允许被索引,页面上的链接也允许继续跟踪。
这两个概念很容易混,但职责并不一样:
如果一个页面已经被 `robots.txt` 完全拦住,搜索引擎可能都抓不到页面内容,自然也就未必能读取到里面的 `robots meta`。所以这两层规则必须配合,不能互相冲突。
决定页面是否允许进入搜索引擎索引。
告诉搜索引擎是否继续跟踪页面上的链接。
不希望搜索引擎展示缓存版本时使用。
限制搜索结果中的摘要展示。
阻止页面上的图片进入图片索引。
对于大多数企业站,真正高频会用到的还是 `index`、`noindex`,有时加上 `follow`。其他指令通常只在特定场景下才值得单独考虑。
常见包括:
但是否 `noindex`,不能只看“这页流量少”,而要看它有没有独立承接搜索需求的可能。如果某个筛选页本身就是有效落地页,就不能机械处理。
以下页面最容易被误杀:
很多站点上线或改版后排名下滑,最后查出来不是内容质量突然变差,而是模板、SEO 插件设置或环境迁移时把整类页面误设成了 `noindex`。
<meta name="robots" content="index, follow">
<meta name="robots" content="noindex, follow">
这类写法常见于一些不想进入结果页、但又不想切断内部链接发现路径的页面。
<meta name="robots" content="noindex, nofollow">
适合一些纯功能性、也不希望参与站内传递的页面,但要慎用,不要把本来承担内部导航作用的页面也关掉。
<meta name="robots" content="index, follow, noarchive">
<meta name="robots" content="index, follow, nosnippet">
这类更偏特殊需求,不属于常规企业站的高频设置。
这是最危险的一种。很多时候不是编辑手动改错,而是主题模板、插件默认项或迁移后配置错误导致的。
这些页面里有些确实应该清理,但有些本身承担主题聚合和内链分发作用。该不该进索引,要看页面质量与搜索价值,而不是页面类型名字。
如果一个页面长期被导航、聚合页和文章正文反复指向,但你又不希望它收录,这种策略本身就要重新看。
比如页面一边 `noindex`,一边又把自己作为 canonical 主页,或者多个重复页互相给出混乱信号。页面规范化和索引策略应该一起看。
后台选项勾了不代表前台源码真的输出对了。上线环境、缓存层、主题逻辑都有可能影响最终结果。
对大多数正常内部链接页面来说,没有必要大量使用 `nofollow`。页面层面的 `nofollow` 更适合特定场景,而不是默认配置。
如果你用 WordPress,通常会通过 Rank Math、Yoast 或其他 SEO 插件来设置。最稳的做法不是只看后台,而是同时检查这三层:
如果网站近期做过模板切换、服务器迁移或缓存调整,这一步尤其要复核。因为问题很可能不是内容编辑造成的,而是环境层把模板输出改掉了。
简单理解可以这样分工:
如果你站内已经有大量重复页、参数页或历史残留页,单独改一个 `robots meta` 往往不够,还要结合canonical 设置、站内链接和抓取规则一起处理。
不要只问“有没有这个标签”,而要问:
`robots meta` 的价值在于精细,而不是复杂。企业站只要先把关键页面的索引边界管清楚,很多抓取和收录问题就会比一味发新内容更容易看出改善。