使用Python无头Selenium Chrome Driver时页面加载异常求助

这种无头模式下元素找不到、页面不加载的情况我碰到过好多次，核心原因是无头Chrome和正常Chrome在渲染环境、窗口尺寸、反爬检测逻辑上存在差异，给你几个针对性的解决方案：

1. 给无头浏览器设置合理的窗口尺寸 #

无头模式默认的窗口尺寸极小，很多响应式网站会因为视口过小，隐藏"Past Events"这类元素或者改变页面布局，直接导致你的XPath定位失效。先加上窗口尺寸参数：

options = webdriver.ChromeOptions()
options.add_argument('headless')
options.add_argument('--no-sandbox')
# 模拟桌面浏览器的窗口尺寸，确保页面正常渲染
options.add_argument('--window-size=1920,1080')
driver = webdriver.Chrome(options=options)

2. 用显式等待替代直接查找元素 #

正常模式下页面加载速度快，直接查找元素没问题，但无头模式的渲染速度可能稍慢，或者需要等待JavaScript动态生成内容。改用WebDriverWait等待元素出现，同时确保页面完全加载：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 打开页面后，先等待页面DOM加载完成
WebDriverWait(driver, 10).until(
    lambda d: d.execute_script("return document.readyState") == "complete"
)

# 等待"Past Events"元素可见（不仅存在于DOM，还要能在页面上看到）
try:
    my_element = WebDriverWait(driver, 15).until(
        EC.visibility_of_element_located((By.XPATH, "//*[contains(text(), 'Past Events')]"))
    )
    driver.execute_script("arguments[0].scrollIntoView();", my_element)
except Exception as e:
    print(f"等待元素失败: {e}")
    # 无头模式也能截图，方便排查页面实际状态
    driver.save_screenshot("headless_error.png")

3. 模拟正常浏览器，绕过自动化检测 #

部分网站会通过检测navigator.webdriver属性、用户代理字符串识别无头模式，进而阻止内容加载。添加这些参数伪装成正常浏览器：

# 设置真实的用户代理
options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36')
# 禁用自动化检测特征
options.add_argument('--disable-blink-features=AutomationControlled')
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)

4. 禁用GPU加速（可选） #

偶尔无头模式的GPU加速会导致渲染异常，加上这个参数试试：

options.add_argument('--disable-gpu')

把这些方案组合起来，基本能解决你遇到的问题。如果还是不行，可以通过print(driver.page_source)查看无头模式下的页面源码，或者用截图功能确认页面实际渲染状态，就能快速定位是元素未生成还是被隐藏了。

内容的提问来源于stack exchange，提问作者ViB