You need to enable JavaScript to run this app. Selenium/requests获取Rite Aid杂货分页数据遇元素不可交互咨询
优惠活动
大模型
产品
解决方案
定价
更多

Selenium/requests获取Rite Aid杂货分页数据遇元素不可交互咨询

两类分页数据获取实现方案

Selenium交互场景报错修复

针对ElementNotInteractableException报错的核心解决逻辑:

  • 报错根因:作为分页触发器的span属于非原生交互元素,要么存在上层元素遮挡、要么未进入可视区域、要么未满足组件的激活状态要求,无法直接通过原生click()方法触发交互。
  • 对应修正实现:
    • 不要硬依赖“下一页”文案定位元素,优先依托已发现的分页容器属性做判断:带data-pager的分页div节点上,data-cp存储当前页码、data-tp存储总页数,可直接用来判断翻页边界,避免定位到失效的span节点。
    • 绕过原生交互校验触发点击:定位到下一页对应的span节点后,通过Selenium执行JS脚本完成点击,替代原生click方法,示例代码:
      next_trigger = driver.find_element(By.XPATH, "//div[@data-pager]//span[contains(text(), '下一页') or contains(@class, 'next-page')]")
      # JS点击绕过可交互性检查
      driver.execute_script("arguments[0].click()", next_trigger)
      
    • 增加动态等待逻辑:因为页面无URL跳转、DOM动态更新,点击后需要做显式等待:判断分页容器的data-cp属性值从原有页码变为目标页码后,再提取当前页的商品列表,避免拿到上一页的重复数据。

无浏览器的直接请求构造方案(采集效率更高)

这类无跳转的动态分页,不需要启动浏览器爬取,可直接通过抓包定位接口完成全量采集:

  • 定位核心请求:在开发者工具的网络面板筛选Fetch/XHR类型请求,点击下一页时观察新发起的请求,这类请求会携带分页页码参数(和DOM上的data-cp值逻辑一致)、分类筛选参数(对应grocery分类维度)。
  • 请求构造要求:
    • 首次访问目标分类页面获取基础Cookie、页面内嵌的接口鉴权token(这类值一般嵌入在页面的内联脚本中,可直接从初始返回的HTML中提取)。
    • 后续构造请求时携带对应请求头、分页参数,逐页累加页码发起请求,直接从返回的JSON结构中提取商品数据,不需要加载整页DOM、执行页面JS,大幅降低采集资源消耗。

注意:如果遇到接口的反爬校验,可模拟真实浏览器的请求头参数、沿用初始页面获取的有效Cookie,不需要依赖浏览器渲染即可稳定获取分页数据。


内容的提问来源于stack exchange,提问作者sir_chocolate_soup

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.08 20:15:04