Octoparse处理无限滚动与加载更多按钮问题求助

• 拆分滚动与加载更多的触发逻辑
  先观察页面滚动多少次后会出现“加载更多”按钮，把Octoparse的初始无限滚动次数设为这个数值。之后添加点击元素动作，精准定位“加载更多”按钮，设置点击后的等待规则（不要用固定时长，改用等待新产品卡片出现或按钮状态变化），同时给点击动作套上循环：每次点击后检查按钮是否还存在，若存在则继续点击，直到按钮消失（说明所有数据加载完成）。

• 添加实时去重校验
  给产品抓取步骤加前置判断：用产品的唯一标识（比如SKU、产品详情页链接、标题+价格的组合）作为校验依据。在Octoparse里用变量存储已抓取的标识集合，每次抓取前先判断当前产品的标识是否在集合里，存在就跳过，不存在再执行抓取并把标识加入集合。

• 优化页面加载等待机制
  替换固定等待时间为元素触发式等待：滚动后等待新的产品项加载完成（比如等待页面最后一个产品卡片的出现），点击加载更多后等待按钮从“加载中”状态恢复，或者等待新的产品列表节点生成，避免因页面未加载完全就开始抓取导致的重复数据。

• 直接抓取API接口（更高效的备选方案）
  打开浏览器开发者工具（按F12）切换到Network标签，点击“加载更多”按钮，查看是否有XHR/fetch请求返回产品数据。如果能找到对应的API接口，直接在Octoparse里添加“自定义请求”动作，调用该接口抓取数据，这种方式不会受前端交互逻辑影响，稳定性更高，也不会出现重复问题。

内容的提问来源于stack exchange，提问作者Nemo