Selenium本地可定位元素但部署Heroku后找不到元素的修复方法

AI 小北

2026-8-28

问题根因

本地运行正常、Heroku环境抛NoSuchElementException是典型的环境差异问题，从报错里的Session info: headless chrome=103.0.5060.53就能锁定核心诱因：

Heroku默认启动无头Chrome模式，无头模式下Google会根据客户端特征、请求来源返回差异化页面结构，你本地有头Chrome里存在的id为SIvCob的语言切换栏，在无头模式返回的页面里大概率不存在。
现有代码没有给Chrome配置适配Heroku运行环境的启动参数，既容易出现渲染异常，也会被站点直接识别为自动化流量，返回爬虫专属的精简/验证页面。
没有加元素等待逻辑，页面打开后立刻查找元素，本地网络加载快可能刚好命中元素加载完成的时机，Heroku服务器网络环境和本地不同，加载速度波动大，直接查找很容易触发找不到元素的错误。

修复步骤

直接替换原有代码即可：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
# Heroku无头环境必填启动参数
chrome_options.add_argument('--headless=new')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--window-size=1920,1080')
# 覆盖默认无头UA，伪装成普通用户客户端，避免被站点识别为爬虫
chrome_options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36')

s=Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=s, options=chrome_options)
# 无头模式下不要调用maximize_window()，通过上面的window-size参数固定窗口分辨率即可
driver.get('https://www.google.com')

# 加显式等待，最长等待10秒直到目标元素加载完成，避免页面未渲染完成就查找元素
try:
    a = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.XPATH, '//*[@id="SIvCob"]'))
    )
    print(a.get_attribute('innerHTML'))
except Exception as e:
    # 排查阶段打印当前页面源码，确认实际返回的页面结构是否和本地一致
    print(driver.page_source)
    raise e
finally:
    driver.quit()

Heroku部署时注意正确配置buildpack，除了Python环境buildpack外，要搭配官方Chrome/ChromeDriver对应buildpack，不建议完全依赖webdriver_manager在运行时临时下载驱动，容易出现Chrome和驱动版本不匹配的问题。
如果调整参数后仍然找不到目标元素，以异常分支打印的页面源码为准调整定位表达式即可——Google会根据服务器IP所属地区、风控识别结果动态调整页面元素id和结构，写死的xpath在不同环境下不通用是正常情况。

内容的提问来源于stack exchange，提问作者neelnix