如何用Python的Selenium实现双下拉框联动数据爬取？

核心错误点 #

• 提前初始化第二个下拉框的Select对象
  页面加载时你就获取了dropdown2的Select实例，但每次选择第一个下拉框后，第二个下拉框的选项是动态重新渲染的，旧的Select实例不会自动同步更新，导致遍历的始终是页面初始状态的旧选项，而非更新后的新选项。

• 等待第二个下拉框更新的条件无效
  presence_of_element_located((By.ID, "dropdown2_id"))仅检查下拉框元素是否存在，但该元素本身一直存在，无法判断内部选项是否已经完成更新。

• 未处理默认提示选项（可选优化）
  下拉框第一个选项通常是"请选择"这类提示项，遍历这类选项会产生无效请求，浪费资源。

修正后的代码 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait, Select
from selenium.webdriver.support import expected_conditions as EC
import pandas as pd

driver = webdriver.Chrome()
driver.get("url")
wait = WebDriverWait(driver, 10)  # 统一初始化等待对象，避免重复创建
data = {}

# 获取第一个下拉框并遍历选项
dropdown1 = Select(wait.until(EC.presence_of_element_located((By.ID, "dropdown1_id"))))
for idx, option1 in enumerate(dropdown1.options):
    # 跳过第一个默认提示选项（如"请选择"，不需要可删除）
    if idx == 0:
        continue
    
    option1_value = option1.get_attribute("value")
    dropdown1.select_by_value(option1_value)
    
    # 等待第二个下拉框选项更新：通过选项数量变化判断（假设初始只有1个默认选项）
    wait.until(lambda d: len(Select(d.find_element(By.ID, "dropdown2_id")).options) > 1)
    
    # 每次选择第一个下拉框后，重新获取第二个下拉框的最新实例
    dropdown2 = Select(driver.find_element(By.ID, "dropdown2_id"))
    for idx2, option2 in enumerate(dropdown2.options):
        # 跳过第二个下拉框的默认提示选项
        if idx2 == 0:
            continue
        
        option2_value = option2.get_attribute("value")
        dropdown2.select_by_value(option2_value)
        
        # 等待表格加载完成：优先等待加载 spinner 消失，无spinner则直接等表格可见
        try:
            wait.until(EC.invisibility_of_element_located((By.ID, "table-loading-spinner")))
        except:
            wait.until(EC.visibility_of_element_located((By.ID, "table_id")))
        
        # 读取并存储表格数据
        df = pd.read_html(driver.page_source, attrs={"id": "table_id"}, flavor='bs4')[0]
        data[(option1_value, option2_value)] = df

driver.quit()

关键修改说明 #

1. 动态获取第二个下拉框实例：每次选择第一个下拉框后，重新获取dropdown2的Select对象，确保拿到最新的选项列表。
2. 有效等待选项更新：通过判断第二个下拉框的选项数量变化，确认新选项已加载完成。
3. 跳过无效选项：添加索引判断跳过默认提示项，减少无效爬取。
4. 兼容表格等待逻辑：增加异常处理，避免因页面无加载spinner导致的报错。

内容的提问来源于stack exchange，提问作者W4K1NG