使用beautiful soup与webdriver爬取时翻页重复、数据缺漏问题咨询

核心现象拆解 #

你目前碰到的两类异常，都是动态渲染网页爬取时的典型问题：

• 翻页操作完全失效，所有重复内容本质是程序始终在抓取第一页的DOM内容，没有真正完成分页跳转
• 单页抓取数量不足，是因为页面没有完成全量内容渲染就提前触发了链接提取逻辑

针对翻页失效的修复方法 #

这类招聘网站的分页基本不会触发整页刷新，多是前端路由拦截+异步请求加载数据后局部更新DOM，纯模拟点击很容易出现操作不生效的问题：

• 优先放弃纯模拟点击翻页的逻辑，直接抓取网站分页的URL参数规律：通过浏览器开发者工具的网络面板，确认点击分页时实际发送的请求参数，这类网站的分页几乎都是通过page参数标记页码，直接拼接带页码的目标URL发请求，稳定性远高于模拟点击
• 如果必须保留模拟点击的翻页逻辑，点击下一页按钮后不能立刻执行抓取，必须加显式等待条件：等页面上的第一个岗位链接与上一页抓取到的第一个链接不一致时，再开始提取当前页内容，避免DOM还没更新就抓取
• 每次翻页抓取完成后，加入重名校验：如果当前页抓取到的链接和历史已存链接重合度100%，直接判定翻页失败终止程序，不要无意义重复抓取第一页内容
• 检查分页按钮的定位逻辑：很多网站的分页组件是动态渲染的，早期定位到的按钮元素可能已经被替换，点击操作没有绑定到实际的分页控件上，自然无法触发跳转

针对单页抓取不全的修复方法 #

单页只能抓到9条链接，是因为动态网站的列表普遍采用懒加载机制，页面刚打开时只会渲染可视区域内的少量岗位，剩下的内容需要滚动触发加载：

• 提取当前页链接之前，先模拟完整的页面滚动：从页面顶端缓慢滚动到底部，重复2-3次，等所有岗位节点都渲染完成后再执行提取操作
• 把固定时长的等待逻辑替换为显式等待：等预期数量的岗位链接元素全部加载到DOM中后再开始抓取，比如单页正常展示15条岗位，就等待15个对应选择器的链接元素全部可见，再触发提取
• 检查链接提取的CSS选择器覆盖范围：置顶推荐岗位的类名通常和普通岗位有区别，如果选择器只匹配了普通岗位的类名，就会漏掉置顶条目，导致抓取数量不足

优化提示：爬这类动态招聘站时，优先直接定位返回岗位数据的接口请求，直接请求接口解析返回的结构化数据，比渲染HTML后提取的效率高数倍，也能从根源上避免渲染不全、翻页失效的问题

内容的提问来源于stack exchange，提问作者Luong