You need to enable JavaScript to run this app. Selenium动态网页抓取优化及稳定XPath、元素定位方案咨询
优惠活动
大模型
产品
解决方案
定价
更多

Selenium动态网页抓取优化及稳定XPath、元素定位方案咨询

速卖通商品爬取优化方案

一、滚动加载速度优化

  • 替换固定时长等待为条件触发等待,删除固定13次滚动+每次1秒等待的逻辑,改为检测到新商品加载完成就继续操作,可大幅缩短等待时间,优化后参考代码如下:
import time
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By

options = webdriver.ChromeOptions()
options.add_argument('headless')
options.add_experimental_option('excludeSwitches', ['enable-logging'])
options.add_argument('--lang=en')
options.add_argument(
    "user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36")
driver = webdriver.Chrome(r'c:\chromedriver\chromedriver.exe', options=options)

url = 'https://www.aliexpress.com/wholesale?catId=0&SearchText=ipad&SortType=default&g=n&page=1'
driver.get(url)

last_count = 0
retry = 0
# 连续3次没有加载到新商品就终止
while retry < 3:
    # 直接滚动到页面底部,不用分段滚动
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")
    try:
        # 最多等2秒,只要商品数量更新就跳出等待
        WebDriverWait(driver, 2).until(
            lambda d: len(d.find_elements(By.XPATH, '//div[contains(@class, "_2E_KG")]')) > last_count
        )
        last_count = len(driver.find_elements(By.XPATH, '//div[contains(@class, "_2E_KG")]'))
        retry = 0
    except:
        retry += 1

items = driver.find_elements(By.XPATH, '//div[contains(@class, "_2E_KG")]')
print(len(items))
  • 更高性能的方案:跳过selenium直接调用搜索接口,速卖通搜索结果的后端接口返回的是标准JSON格式,直接用requests拼接参数请求即可,不用处理页面渲染、滚动加载逻辑,速度比selenium方案快10倍以上。

二、稳定的元素定位规则

你当前用的下划线开头的class是前端框架自动生成的哈希值,站点每次发版都会变更,确实不适合作为定位依据,可按照以下优先级选择定位规则:

  • 优先使用业务自定义属性,比如data-product-id、data-spm这类和业务逻辑绑定的属性,速卖通所有商品卡片都会携带data-product-id属性存储商品ID,该属性基本不会变更,定位写法如下:
    • XPath写法://div[@data-product-id]
    • CSS选择器写法:div[data-product-id]
  • 其次使用层级定位,从页面固定的上层容器向下查找,比如搜索结果列表的外层容器一般会带有search-list、product-list这类固定语义的class/id,定位写法参考://div[contains(@class, "search-result-list")]//div[@data-product-id]
  • 最后可以用结构特征定位,只要商品卡片的结构逻辑不变就不会失效,比如商品卡片必然包含商品详情页链接、价格标签://div[.//a[contains(@href, "/item/")] and .//span[contains(text(), "US $")]]

内容的提问来源于stack exchange,提问作者SY Moon

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.11 09:51:00