使用Helium/Selenium爬取Skechers时LOAD MORE按钮点击无加载响应

核心失效原因 #

• 文本匹配定位偏差
  Skechers站点的LOAD MORE按钮并非纯静态固定文本元素，实际渲染时按钮文本常嵌套在内部子标签中，还可能附带动态计数（如LOAD MORE后续缀剩余可加载商品数）。Helium内置的Button('LOAD MORE')、Link('LOAD MORE')默认按元素直接包含的全文本做精确匹配，这类场景下很容易匹配失败，这也是你尝试三种文本类点击写法均无效的核心原因。
• 元素遮挡/视口校验问题
  站点的加载按钮存在严格的视口可见性校验：只有当按钮完全滚动到浏览器可视区域、且没有被页脚、悬浮客服窗、人机校验弹窗等上层元素遮挡时，点击事件才会被前端监听接收。原代码仅做固定距离的滚动，没有确认按钮的可视状态、也没有处理上层遮挡元素，会出现“元素被定位到但点击被拦截”的情况。
• 前端交互校验拦截
  Skechers的前端事件监听会识别无轨迹的程序化点击：真实用户操作的点击前必然包含鼠标移动、悬浮在按钮上的前置事件，纯代码直接触发的click事件没有对应的前置交互轨迹，会被前端逻辑直接忽略，不会触发后续的商品加载接口请求。
• 异常处理逻辑缺陷
  原代码中裸except: continue会直接吞掉所有运行时异常，如果操作中触发了人机验证弹窗、按钮未加载完成、元素暂不可见等问题，程序不会抛出任何提示，表面上是执行了点击逻辑，实际流程已经中断。

调整后参考代码 #

from helium import*
import time
from bs4 import BeautifulSoup

s = start_firefox("https://www.skechers.com/men/shoes/boots/?srule=price-low-to-high&start=0&sz=24")
time.sleep(5)

for x in range(1,5):
    scroll_down(num_pixels=2000)
    time.sleep(3)
    try:
        # 替换文本匹配，用CSS选择器定位带load-more特征的按钮元素
        load_more_btn = S(".js-load-more, .load-more-button")
        # 先滚动到按钮位置确保完全可见
        scroll_to(load_more_btn)
        time.sleep(1)
        # 模拟鼠标悬浮前置操作，匹配前端交互校验规则
        hover(load_more_btn)
        time.sleep(0.5)
        click(load_more_btn)
        time.sleep(10)
    except Exception as e:
        # 打印具体异常替代直接吞错，方便定位实际问题
        print(f"第{x}次加载操作异常: {e}")
        continue

soup = BeautifulSoup(s.page_source,"lxml")
kill_browser()

额外注意：如果站点触发了人机校验，需要先手动完成校验流程，再执行后续的点击操作，否则所有程序触发的交互都会被拦截。

内容的提问来源于stack exchange，提问作者firaki12345