Heroku Dyno上Headless Chrome搭配Selenium持续超时问题排查

针对你遇到的Selenium超时找不到元素的问题，即使按现有方案配置后仍无效，可从以下几个方向排查：

• 修正Headless Chrome的User-Agent标识
  多数网站会识别HeadlessChrome的UA并返回不同页面结构，导致元素无法匹配。在setup_selenium_opts方法中添加正常Chrome的UA：

  options.add_argument('--user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36')
  

• 调整页面加载策略与等待逻辑
  默认加载策略会等待所有资源加载完成，可改为仅等待DOM就绪：

  options.page_load_strategy = :eager
  

  同时延长元素等待超时时间，确保动态渲染的元素有足够时间加载：

  wait = Selenium::WebDriver::Wait.new(timeout: 120)
  wait.until { @driver.find_element(css: 'div.x9f619.x1n2onr6.x1ja2u2z') }
  

• 验证Chrome与ChromeDriver版本完全匹配
  确认Heroku上安装的Chrome（版本119.0.6045.199）与ChromeDriver版本完全一致。通过heroku run执行以下命令核对：

  google-chrome --version
  chromedriver --version
  

  若版本不匹配，更新对应buildpack或替换同版本的ChromeDriver。

• 检查元素是否在iframe或Shadow DOM中
  如果目标元素嵌套在iframe内，需先切换到对应iframe再定位：

  iframe = @driver.find_element(tag_name: 'iframe')
  @driver.switch_to.frame(iframe)
  

  若元素在Shadow DOM中，需通过JavaScript定位：

  element = @driver.execute_script("return document.querySelector('父元素选择器').shadowRoot.querySelector('div.x9f619.x1n2onr6.x1ja2u2z')")
  

• 排查Heroku IP是否被目标网站屏蔽
  在本地用headless模式访问目标网站，若能正常找到元素但Heroku上不行，大概率是Heroku的IP被网站反爬机制拦截。此时需配置代理IP绕过限制。

内容的提问来源于stack exchange，提问作者gr1zzly be4r