页面加载后Google如何爬取索引内容？JS延时修改内容能否被收录

Google爬取与索引页面的核心流程 #

Googlebot对页面的爬取分为两个阶段：

1. 第一阶段先抓取服务器返回的原始静态HTML内容，提取不需要JS执行就能展示的静态文本、资源链接等信息
2. 后续Google会将符合条件的页面送入渲染队列，调用无头浏览器执行页面内的JS，加载动态生成的内容，但渲染流程不会无限制等待所有异步任务执行完成，会在超时或者核心资源加载完成后就终止渲染，提取最终可见内容用于索引。

给定代码场景的索引结果 #

你给出的代码如下：

<body>
  content-1
</body>

<script>
  setTimeout(changeBodyContentTo("content-2"), 5000);
</script>

这个场景下，Google最终会爬取并索引content-1。
原因是Google渲染器的等待阈值远低于5秒，对于延迟5秒才执行的DOM修改任务，渲染流程在任务触发前就已经完成了内容抓取，content-2不会被Googlebot识别收录。

测试验证方法 #

你可以通过以下几种方法验证结果：

• 使用Google Search Console的「URL检查」功能，提交测试页面地址后选择「测试实时网址」，在「已渲染的网页」板块就能直接查看Googlebot实际抓取到的完整页面内容
• 执行curl 你的测试页面地址指令，直接获取服务器返回的原始静态HTML，就能看到和Google首次抓取一致的content-1内容
• 用无头浏览器（如Puppeteer）模拟Googlebot的渲染规则，设置和Google一致的渲染超时时间，运行后输出最终页面内容即可验证
• 测试页面上线后等待Google收录，随后使用site:你的页面URL指令在Google搜索，查看搜索结果展示的页面摘要文本，和两个内容做匹配即可确认收录的是哪一段

内容的提问来源于stack exchange，提问作者Jeremy