Selenium访问特定站点无法定位元素报NoSuchElementError如何解决？

目标站点部署了反爬虫检测机制，能够识别Selenium默认的无头Chrome模式特征，访问时直接返回空页面/拦截响应，因此你无法定位到任何页面元素，其他站点无此问题是因为未部署对应的反爬策略。

• 替换旧版无头模式参数，使用Chrome新版无头模式并添加反检测参数，规避站点特征识别：
  旧版--headless参数特征明显，极易被检测，替换为--headless=new，同时添加以下参数去除自动化特征：

  options.add_argument('--headless=new')
  options.add_argument('--disable-blink-features=AutomationControlled')
  options.add_argument('--user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36')
  options.add_experimental_option('excludeSwitches', ['enable-automation'])
  options.add_experimental_option('useAutomationExtension', false)
  

• 访问页面后先等待页面加载完成，再执行元素查找逻辑：
  不要仅依赖隐式等待，添加代码等待页面渲染完成：

  # 等待页面加载状态为完成
  wait = Selenium::WebDriver::Wait.new(timeout: 30)
  wait.until { driver.execute_script('return document.readyState') == 'complete' }
  

• 修正XPath写法：
  你当前传入的定位XPath为p，这只会匹配根节点的直接子p标签，全文档匹配所有p标签的正确写法为//p，传入参数时注意修正。
• 调试时先打印页面源码确认返回内容：
  在driver.get domain后添加puts driver.page_source，确认返回内容是否包含目标页面的正常元素，还是拦截/验证页面，方便定位问题。

require 'selenium-webdriver'
options = Selenium::WebDriver::Chrome::Options.new
# 替换为新版无头模式+反检测参数
options.add_argument('--headless=new')
options.add_argument('--window-size=1280x1280')
options.add_argument('--enable-features=NetworkService,NetworkServiceInProcess')
options.add_argument('--disable-blink-features=AutomationControlled')
options.add_argument('--user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36')
options.add_experimental_option('excludeSwitches', ['enable-automation'])
options.add_experimental_option('useAutomationExtension', false)

driver = Selenium::WebDriver.for :chrome, options: options
driver.manage.timeouts.implicit_wait = 45
driver.get domain

# 等待页面加载完成
wait = Selenium::WebDriver::Wait.new(timeout: 30)
wait.until { driver.execute_script('return document.readyState') == 'complete' }

substring = selectString.to_s.squish
# 修正后的xpath为//p，匹配所有p标签
driver.find_elements(:xpath => '//p').each do |r|
  seleniumString = driver.execute_script("return arguments[0].textContent", r).squish
  if seleniumString.include? substring
    # 业务逻辑
  end
end
driver.quit

内容的提问来源于stack exchange，提问作者Mason SB