为何sitemap generator无法生成博客板块超过2个分页的页面链接？

触发原因 #

• 分页链接不符合爬虫识别规则：如果博客分页使用JS动态渲染、仅绑定点击事件跳转，没有设置带有效路径的href属性的<a>标签，工具无法识别后续分页入口
• 工具默认抓取阈值限制：绝大多数sitemap生成工具默认的最大抓取深度设为2，单域名下最大抓取URL数量默认设为10，到达阈值后会自动终止抓取
• robots.txt规则拦截：检查站点robots.txt是否禁止爬取/page/3之类的分页路径，或是设置了爬虫访问频率限制，工具触发限制后会停止抓取
• 分页内容重复度过高：部分工具自带重复内容过滤机制，若后续分页的meta信息、正文内容和已抓取页面重合度超过阈值，会被判定为重复内容直接跳过
• 分页URL规则不统一：例如前两页路径为/page/1、/page/2，第三页起路径变为/p/3或携带随机参数，工具无法按规律匹配后续分页地址

解决方法 #

• 先验证分页可用性：使用curl命令测试后续分页地址是否返回200状态码，示例命令：curl -I 你的博客分页完整路径，确认不存在404、302跳转问题
• 调整工具抓取配置：
  • 将最大抓取深度调整到≥4（按16篇文章每页5篇计算共4页，深度设为5可覆盖全部分页）
  • 将单站点最大抓取URL数量调整到≥20，覆盖所有文章+分页地址
  • 关闭工具默认的「重复内容自动过滤」选项，避免正常分页被误删
• 优化分页前端实现：若分页为JS动态渲染，给分页按钮添加带完整路径href属性的<a>标签作为兜底，不要仅依赖点击事件实现跳转
• 调整robots.txt配置：删除针对分页路径的爬取限制，或是给sitemap生成工具的UA添加白名单，取消对应UA的访问频率限制
• 手动配置匹配规则：若工具仍无法自动识别分页，可在工具的自定义URL规则栏添加分页匹配规则，比如你的博客域名/blog/page/*，让工具主动遍历所有符合规则的分页地址

内容的提问来源于stack exchange，提问作者Ankush