配置15秒隐式等待后,Selenium分页时未等元素加载直接跳转下一页
问题根因
- 隐式等待的作用边界存在认知偏差:隐式等待仅在「元素查找时初始DOM未匹配到目标元素」时触发最长15秒的轮询查找,它不会主动等待页面跳转、异步内容渲染、旧DOM元素失效的过程。当点击分页按钮后,上一页的旧
content-box元素仍暂时存在于DOM树中,下一轮循环执行元素查找时会立刻匹配到残留的旧元素,完全不会触发等待逻辑。这也正好解释了为什么刚打开普通URL时隐式等待生效——此时初始DOM中没有目标元素,会触发等待逻辑;但分页场景下旧元素残留,等待逻辑完全不会被触发,直接导致拿到旧数据、甚至重复处理的问题。 - 代码存在语法逻辑错误:异常捕获块中写的
condition: False是Python的变量类型标注语法,并非赋值操作,永远不会将循环条件置为False,循环退出逻辑完全失效。 - 无效的等待调用:
driver.implicitly_wait(15)是全局生效的配置,只需要在driver初始化后调用一次即可,每次分页点击后重复调用不会额外增加等待效果。 - 使用了已废弃的Selenium旧API:
find_elements_by_xxx系列方法在Selenium 4.x版本中已被完全移除,存在兼容性异常风险。
针对性修正方案
- 全局仅在driver初始化后调用一次
implicitly_wait,避免无效的重复配置 - 针对分页场景补充显式等待逻辑,核心等待两个关键状态:等待上一页的旧列表元素完全从DOM中失效消失、等待新的列表元素渲染完成且数量与上一页存在差异(避免拿到缓存的旧内容)
- 修正异常捕获的赋值语法错误,保证循环可以正常退出
- 替换废弃的旧版查找API为Selenium4兼容的
By定位方式
修正后的参考代码
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC url = "http://ethiolist.com/listings" driver = webdriver.Chrome() # 全局设置一次隐式等待即可,后续无需重复调用 driver.implicitly_wait(15) wait = WebDriverWait(driver, 15) LinksOfBusiness = [] condition = True while condition: # 等待当前页列表元素加载完成 current_listings = wait.until( EC.presence_of_all_elements_located((By.CLASS_NAME, 'content-box')) ) current_count = len(current_listings) for box in current_listings: tag = box.find_elements(By.TAG_NAME, "a")[1] link = tag.get_attribute("href") LinksOfBusiness.append(link) try: next_btn = wait.until(EC.element_to_be_clickable((By.LINK_TEXT, "→"))) next_btn.click() # 等待上一页的旧列表元素完全从DOM中失效,避免匹配到残留旧元素 wait.until(EC.staleness_of(current_listings[0])) # 校验新页列表加载完成:新列表元素数量与上一页不同,确认不是旧缓存 wait.until( lambda d: len(d.find_elements(By.CLASS_NAME, 'content-box')) != current_count ) except: # 修正语法错误,正常赋值退出循环 condition = False print(LinksOfBusiness)
内容的提问来源于stack exchange,提问作者Raymond L
相关产品推荐
相关产品推荐

