Selenium点击元素与浏览器手动操作结果不一致问题排查

从按钮的onclick代码if (!window.__cfRLUnblockHandlers) return false; getResults();可以确定，网站启用了Cloudflare的反爬机制，Selenium默认的自动化特征会被识别，导致点击按钮时无法正常触发查询逻辑，或者请求被拦截，最终返回结果和手动操作不一致。

以下是针对性的解决办法：

1. 隐藏Selenium自动化特征，模拟真实浏览器 #

修改ChromeOptions，添加参数掩盖自动化痕迹，让浏览器更接近手动操作的环境：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

service = Service()
options = webdriver.ChromeOptions()

# 隐藏Selenium核心特征
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
# 设置真实用户代理（可替换为你自己浏览器的UA）
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36")
# 禁用扩展、可选关闭图片加载以提升速度
options.add_argument("--disable-extensions")
options.add_argument("--blink-settings=imagesEnabled=false")

driver = webdriver.Chrome(service=service, options=options)
# 移除navigator.webdriver属性，进一步隐藏自动化标识
driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")

driver.get("你的目标网址")

# 等待Cloudflare验证完成（以日期输入框加载为标志）
WebDriverWait(driver, 20).until(EC.presence_of_element_located((By.ID, "from")))

2. 确保日期输入符合页面预期 #

避免直接send_keys可能引发的格式或控件未激活问题，先点击输入框清空原有内容再输入：

# 处理起始日期
fromField = WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.ID, "from")))
fromField.click()
fromField.clear()
fromField.send_keys("5/23/2022")

# 处理结束日期
toField = WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.ID, "to")))
toField.click()
toField.clear()
toField.send_keys("5/23/2022")

3. 绕过按钮点击的Cloudflare检测，直接执行查询逻辑 #

按钮的核心作用是调用getResults()函数，直接通过JS执行该函数，跳过onclick中的验证逻辑：

# 直接触发查询逻辑
driver.execute_script("getResults();")

4. 等待查询结果加载完成 #

执行查询后，等待结果页面的核心元素加载完成，再进行后续数据爬取：

# 示例：等待结果列表元素出现（需替换为实际结果页面的元素定位）
WebDriverWait(driver, 20).until(EC.presence_of_element_located((By.CSS_SELECTOR, "你的结果元素选择器")))

内容的提问来源于stack exchange，提问作者Jason Orman