Python Selenium迭代选择下拉菜单并爬取动态数据求助

一、先搞定元素定位失败的问题 #

你用绝对XPath找不到元素，大概率是这几个原因：

• 元素在iframe里：打开目标页面的开发者工具（F12），搜索下拉菜单的标签，看是否被包裹在<iframe>中。如果是，必须先切换到对应iframe才能定位：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 等待iframe加载并切换（替换成实际iframe的ID/Name，或者用索引）
iframe = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, "iframe_id_here"))
)
driver.switch_to.frame(iframe)

• 页面未加载完成就定位：直接用find_element会因为元素还没渲染出来报错，改用显式等待+相对定位，绝对XPath太脆弱，页面结构一变就失效：

# 用相对XPath定位下拉菜单，比如根据父元素的class或自身的name属性
select_element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.XPATH, "//div[contains(@class, 'filter-container')]/select"))
)
# 如果下拉菜单有name属性（比如name="Year"），用name定位更靠谱：
# select_element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.NAME, "Year")))

二、迭代选择下拉菜单选项 #

Selenium自带Select类，专门处理<select>类型的下拉菜单，不用自己手动点击选项：

from selenium.webdriver.support.ui import Select

# 初始化Select对象
select = Select(select_element)

# 遍历所有选项，逐个选择
for option in select.options:
    # 跳过空的默认选项（如果有的话）
    option_value = option.get_attribute("value")
    if not option_value or not option.text.strip():
        continue
    
    # 选择当前选项（两种方式都可以）
    select.select_by_value(option_value)
    # select.select_by_visible_text(option.text)
    
    # 点击查询按钮（替换成按钮的实际定位方式）
    submit_btn = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.XPATH, "//button[contains(@class, 'submit-btn')]"))
    )
    submit_btn.click()
    
    # 爬取目标数字（替换成你要找的元素定位）
    target_num = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.XPATH, "//div[@class='result-number']"))
    ).text
    print(f"当前选项[{option.text}]对应的数字：{target_num}")
    
    # 如果点击后页面刷新，需要重新定位下拉菜单（单页应用可忽略）
    # select_element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.NAME, "Year")))
    # select = Select(select_element)

三、其他注意点 #

• 每次点击按钮后，页面可能会刷新或加载新内容，必须等目标元素渲染完成再爬取，别直接用find_element。
• 网站可能有反爬限制，操作间隔别太密，必要时加time.sleep(1)（但优先用显式等待）。
• 如果之前切换了iframe，操作完成后记得切回主文档：driver.switch_to.default_content()

内容的提问来源于stack exchange，提问作者Stav Cohen