Selenium在ChromeDriver无头模式下无法定位按钮的原因及解决方法

问题场景 #

在使用Selenium的ChromeDriver无头模式时，代码执行后输出目标按钮数量为0；但注释掉options.add_argument("--headless")参数，以有头模式运行时，能正常找到1个按钮并输出。相关代码如下：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from webdriver_manager.chrome import ChromeDriverManager
import time

options = Options()
options.add_argument("--headless")
options.add_experimental_option("detach", True)     # Leave the window open

driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=options)

driver.get("http://www.neuralnine.com/")
driver.maximize_window()

links = driver.find_elements("xpath", "//a[@href]")

for link in links:
    if "Books" in link.get_attribute("innerHTML"):
        #link.click()
        driver.execute_script('arguments[0].click();', link)
        break

book_links = driver.find_elements("xpath",
                                  "//div[contains(@class, 'elementor-column-wrap')][.//h2[text()[contains(., '7 IN 1')]]][count(.//a) = 2]//a")

for book_link in book_links:
    print(book_link.get_attribute("href"))

driver.execute_script("arguments[0].click();", book_links[0])
#book_links[0].click()

driver.switch_to.window(driver.window_handles[1])
time.sleep(3)

print("Before Finding Buttons: ")
buttons = driver.find_elements("xpath", "//a[.//span[text()[contains(., 'Paperback')]]]//span[text()[contains(., '$')]]")
print("After Finding Buttons: ")

print("Number of buttons: ", len(buttons))

for button in buttons:
    print("Price Range:", button.get_attribute("innerHTML").replace('-', 'to'))

问题原因 #

• 无头模式默认窗口尺寸过小：Chrome无头模式默认窗口远小于常规浏览器的最大化尺寸，页面会因为响应式布局调整元素显示状态，导致目标按钮未渲染或XPath定位失效。
• 无头模式用户代理特殊：部分网站会识别无头浏览器的UA（用户代理）字符串，返回简化版或不同结构的页面，导致元素无法被定位。
• 固定等待不可靠：time.sleep(3)是固定时长等待，无头模式下页面加载、渲染速度可能和有头模式不同，等待时间不足时元素还未加载完成。
• 旧版无头模式兼容性差：旧的--headless参数启用的无头环境和有头浏览器差异较大，部分页面渲染逻辑不兼容。

解决方案 #

1. 设置匹配有头模式的窗口尺寸 #

在无头模式配置中添加窗口尺寸参数，确保页面渲染布局和有头时一致：

options.add_argument("--window-size=1920,1080")  # 设置和常规最大化窗口接近的尺寸

2. 模拟常规浏览器的用户代理 #

添加用户代理参数，让网站认为是普通浏览器访问：

options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")

3. 替换固定等待为显式等待 #

使用WebDriverWait等待元素加载完成，比固定sleep更可靠：

# 导入显式等待相关模块
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 切换窗口后，等待目标元素出现
driver.switch_to.window(driver.window_handles[1])
wait = WebDriverWait(driver, 10)  # 最多等待10秒
buttons = wait.until(EC.presence_of_all_elements_located(("xpath", "//a[.//span[text()[contains(., 'Paperback')]]]//span[text()[contains(., '$')]]")))

4. 使用新版无头模式参数 #

Chrome 96及以上版本推荐使用--headless=new参数，新版无头模式更接近有头浏览器的行为，兼容性更好：

options.add_argument("--headless=new")

修改后的示例代码 #

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

options = Options()
options.add_argument("--headless=new")  # 新版无头模式
options.add_argument("--window-size=1920,1080")  # 设置窗口尺寸
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")
options.add_experimental_option("detach", True)

driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=options)

driver.get("http://www.neuralnine.com/")

links = driver.find_elements("xpath", "//a[@href]")
for link in links:
    if "Books" in link.get_attribute("innerHTML"):
        driver.execute_script('arguments[0].click();', link)
        break

book_links = driver.find_elements("xpath",
                                  "//div[contains(@class, 'elementor-column-wrap')][.//h2[text()[contains(., '7 IN 1')]]][count(.//a) = 2]//a")

for book_link in book_links:
    print(book_link.get_attribute("href"))

driver.execute_script("arguments[0].click();", book_links[0])

driver.switch_to.window(driver.window_handles[1])

# 显式等待元素加载
wait = WebDriverWait(driver, 10)
buttons = wait.until(EC.presence_of_all_elements_located(("xpath", "//a[.//span[text()[contains(., 'Paperback')]]]//span[text()[contains(., '$')]]")))

print("Number of buttons: ", len(buttons))
for button in buttons:
    print("Price Range:", button.get_attribute("innerHTML").replace('-', 'to'))

内容的提问来源于stack exchange，提问作者destiny7