Googlebot是否会抓取标注为noindex、follow的页面？

搜索引擎的实际执行逻辑 #

• noindex规则会正常生效：该页面不会被纳入搜索引擎的公共索引库，普通用户无法通过搜索结果访问到这个页面。
• follow规则会正常生效：搜索引擎的爬虫会正常抓取该页面上的所有可访问链接，顺着链接继续爬取站点内的其他页面，同时该页面的链接权重会正常传递给它指向的页面，不会被截留。

常见适用场景 #

这个组合是非常成熟的SEO优化手段，常用在以下场景：

• 站点的分页列表、标签聚合页、分类归档页：这类页面本身原创价值低，且容易产生重复内容，不需要进搜索索引，但页面上链接了大量的详情页，用这个标记可以引导爬虫只抓取详情页，不浪费索引配额在列表类页面上。
• 活动落地页、用户隐私页、登录注册页：这类页面只对特定访问场景有用，不需要进搜索结果，但页面上有站点的公共导航链接，加这个标记不影响爬虫顺着导航抓取全站内容。

对网站排名的影响 #

合理使用的情况下没有任何弊端，反而会对SEO有正向帮助：

• 可以有效控制站点的索引量，把搜索引擎分配给你的抓取配额、索引配额全部留给高价值的原创内容页面，避免低价值页面占用资源。
• 可以避免重复内容问题，不会因为大量重复的列表页、归档页被搜索引擎判定为内容质量低下。

*有一个常见误区需要纠正：很多人误以为加了noindex的页面本身的权重会被浪费，实际这个页面的权重会正常传递给它指向的其他页面，不会凭空消耗，也不会拉低整个站点的权重。

内容的提问来源于stack exchange，提问作者Nexussim Lements