Selenium爬取网页时筛选操作不生效 无法获取筛选后条目数据

核心问题原因 #

当前代码存在3个高频导致筛选失效的问题：

• 输入框操作未触发站点的事件监听，且下拉选项定位用的绝对XPath稳定性极差，DOM稍有变动就会定位到错误元素、出现点击无效的情况
• 固定时长的time.sleep()等待不可靠，要么元素还没加载完成就操作，要么页面局部刷新没完成就开始提取数据，拿到的还是初始120条旧数据
• 筛选按钮可能存在加载禁用、浮层遮挡的情况，直接调用click()会被前端拦截，没有真正触发筛选请求

具体修复步骤 #

• 操作输入框前先清空原有内容，输入地址后通过键盘事件触发下拉选项选中，替代硬编码的绝对路径li点击：
  先导入Keys类：from selenium.webdriver.common.keys import Keys，定位到输入框后先调用clear()清空默认值，输入'Ontario, CA'后等待500ms左右，按一次向下箭头选中第一个下拉建议，再按回车确认，比直接点击li元素稳定性高很多
• 替换所有固定time.sleep()为显式等待，只在元素满足可操作状态时再执行交互：
  导入WebDriverWait和expected_conditions：from selenium.webdriver.support.ui import WebDriverWait、from selenium.webdriver.support import expected_conditions as EC，等待下拉选项可点击、等待筛选按钮可点击后再操作，避免点空
• 如果普通click点击筛选按钮不生效，改用JS执行点击，绕过前端的点击拦截、遮罩遮挡问题
• 点击筛选按钮后，不要固定等5秒就提取数据，显式等待列表区域刷新完成（比如等待初始的旧条目失效，或者列表条目数更新到预期范围），再执行数据提取

修复后参考代码 #

from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

wait = WebDriverWait(driver, 15) # 设置最长等待时长15秒

# 定位并操作位置输入框
location_input = wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="locationSearch"]')))
location_input.clear() # 先清空输入框原有内容
location_input.send_keys('Ontario, CA')
time.sleep(0.5)
# 按向下箭头选中第一个下拉建议，回车确认
location_input.send_keys(Keys.ARROW_DOWN)
location_input.send_keys(Keys.ENTER)

# 等待筛选按钮可点击后执行点击，普通点击失效就切换为JS点击
filter_btn = wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="app"]/div[3]/div/div[3]/div[2]/div/div[2]/div/div[2]/div[2]/button')))
# JS点击备用方案：driver.execute_script("arguments[0].click();", filter_btn)
filter_btn.click()

# 等待列表刷新完成：判断列表下的article标签数量大于0且不等于初始120条，再提取数据
wait.until(lambda d: len(d.find_elements(By.XPATH, '//*[@id="catalog-listing"]/article')) > 0 and len(d.find_elements(By.XPATH, '//*[@id="catalog-listing"]/article')) != 120)
getListingUrls = driver.find_elements(by=By.XPATH, value='//*[@id="catalog-listing"]/article/div/div[1]/div[2]/div/div/div/div[1]/div[1]/div[2]/h2/a')

额外注意：如果站点有反爬检测，会识别Selenium的自动化特征屏蔽交互，这种情况需要额外配置Selenium的隐藏特征参数，比如排除启用自动化标识、设置user-agent为真实浏览器值。

内容的提问来源于stack exchange，提问作者Molla