Selenium动态网页抓取优化及稳定XPath、元素定位方案咨询
速卖通商品爬取优化方案
一、滚动加载速度优化
- 替换固定时长等待为条件触发等待,删除固定13次滚动+每次1秒等待的逻辑,改为检测到新商品加载完成就继续操作,可大幅缩短等待时间,优化后参考代码如下:
import time from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.common.by import By options = webdriver.ChromeOptions() options.add_argument('headless') options.add_experimental_option('excludeSwitches', ['enable-logging']) options.add_argument('--lang=en') options.add_argument( "user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36") driver = webdriver.Chrome(r'c:\chromedriver\chromedriver.exe', options=options) url = 'https://www.aliexpress.com/wholesale?catId=0&SearchText=ipad&SortType=default&g=n&page=1' driver.get(url) last_count = 0 retry = 0 # 连续3次没有加载到新商品就终止 while retry < 3: # 直接滚动到页面底部,不用分段滚动 driver.execute_script("window.scrollTo(0, document.body.scrollHeight)") try: # 最多等2秒,只要商品数量更新就跳出等待 WebDriverWait(driver, 2).until( lambda d: len(d.find_elements(By.XPATH, '//div[contains(@class, "_2E_KG")]')) > last_count ) last_count = len(driver.find_elements(By.XPATH, '//div[contains(@class, "_2E_KG")]')) retry = 0 except: retry += 1 items = driver.find_elements(By.XPATH, '//div[contains(@class, "_2E_KG")]') print(len(items))
- 更高性能的方案:跳过selenium直接调用搜索接口,速卖通搜索结果的后端接口返回的是标准JSON格式,直接用requests拼接参数请求即可,不用处理页面渲染、滚动加载逻辑,速度比selenium方案快10倍以上。
二、稳定的元素定位规则
你当前用的下划线开头的class是前端框架自动生成的哈希值,站点每次发版都会变更,确实不适合作为定位依据,可按照以下优先级选择定位规则:
- 优先使用业务自定义属性,比如
data-product-id、data-spm这类和业务逻辑绑定的属性,速卖通所有商品卡片都会携带data-product-id属性存储商品ID,该属性基本不会变更,定位写法如下:- XPath写法:
//div[@data-product-id] - CSS选择器写法:
div[data-product-id]
- XPath写法:
- 其次使用层级定位,从页面固定的上层容器向下查找,比如搜索结果列表的外层容器一般会带有
search-list、product-list这类固定语义的class/id,定位写法参考://div[contains(@class, "search-result-list")]//div[@data-product-id] - 最后可以用结构特征定位,只要商品卡片的结构逻辑不变就不会失效,比如商品卡片必然包含商品详情页链接、价格标签:
//div[.//a[contains(@href, "/item/")] and .//span[contains(text(), "US $")]]
内容的提问来源于stack exchange,提问作者SY Moon
相关产品推荐
相关产品推荐

