Selenium等待非必现元素的最优方案及现有爬取代码优化方法

你对expected_conditions的理解存在偏差，它完全支持非必现元素的处理逻辑，只需捕获超时异常即可实现「存在则处理、不存在则跳过」的效果，完全可以替代你当前用的固定等待和隐式等待方案。

前置依赖导入 #

首先导入所需的Selenium工具类：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException

注意：不要同时启用隐式等待和显式等待，两者混用会导致不可预期的等待时长计算错误，建议完全关闭隐式等待，所有等待逻辑都用显式等待实现。

核心代码优化 #

# 初始化显式等待对象，超时时间可根据实际页面加载速度调整，无需固定等待1.5s
wait = WebDriverWait(driver, 3)

# 1. 处理随机弹窗Element A
try:
    close_btn = wait.until(EC.element_to_be_clickable(
        (By.CSS_SELECTOR, "div.andes-dialog__wrapper div.andes-dialog__container a.andes-dialog_-close")
    ))
    close_btn.click()
except TimeoutException:
    # 弹窗未出现，直接跳过
    pass

shipping_price = ""
shipping_time = ""

# 2. 处理iframe内外元素
try:
    # 替换下方选择器为你实际页面的iframe选择器，等待iframe可用后自动切入
    wait.until(EC.frame_to_be_available_and_switch_to_it((By.CSS_SELECTOR, "替换为你的iframe选择器")))
    
    # 处理价格元素B/C
    try:
        # 先匹配非免费价格Element B
        shipping_price = wait.until(EC.visibility_of_element_located(
            (By.CSS_SELECTOR, "div.ui-shipping_column.ui-shipping_price span.price_amount")
        )).text
    except TimeoutException:
        # 未匹配到B则匹配免费价格Element C
        shipping_price = wait.until(EC.visibility_of_element_located(
            (By.CSS_SELECTOR, "div.ui-shipping__column.ui-shipping_price")
        )).text
    
    # 匹配iframe内配送时效Element D
    shipping_time = wait.until(EC.visibility_of_element_located(
        (By.CSS_SELECTOR, "div.ui-shipping_column.ui-shipping_description span.ui-shipping__title")
    )).text
    
    # 操作完成切回主文档
    driver.switch_to.default_content()
except TimeoutException:
    # iframe不存在，直接匹配主文档的配送时效Element E
    shipping_time = wait.until(EC.visibility_of_element_located(
        (By.CSS_SELECTOR, "form.ui-pdp-buybox div.ui-pdp-shipping p.ui-pdp-media__title")
    )).text

优化效果说明 #

• 替换固定等待为显式等待后，元素加载完成就立刻执行后续逻辑，不会死等固定时长，整体执行效率提升明显，同时也能兼容网络波动的慢加载场景
• 仅捕获明确的TimeoutException，不会吞掉选择器错误、元素不可交互等真实异常，方便问题排查
• iframe切换逻辑单独处理，避免上下文混乱导致的元素找不到问题

内容的提问来源于stack exchange，提问作者Cristian Avendaño