Selenium Chrome WebDriver无法获取JS渲染元素的问题咨询

这类电商站点大多部署了WebDriver特征识别类的反爬规则，前端脚本会实时检测当前浏览器的运行环境，一旦识别到Selenium驱动的自动化Chrome实例，就会主动跳过目标模块的JS渲染逻辑，导致普通浏览器能正常加载的元素在WebDriver环境中完全不生成，并非JS渲染等待时长不足导致的定位失败。

• 第一步：移除Chrome实例的自动化控制特征标记，这是解决该问题的核心配置
  需要覆盖3个最容易被检测的自动化标识：
  1. 关闭Chrome启动时默认加载的enable-automation特性标记
  2. 隐藏navigator.webdriver的自动化环境属性
  3. 禁用Chrome自带的自动化提示条
• 第二步：替换原生Selenium初始化代码，嵌入上述反检测配置
  改造后的可运行参考代码如下：

  from selenium import webdriver
  from selenium.webdriver.chrome.service import Service
  from webdriver_manager.chrome import ChromeDriverManager
  from selenium.webdriver.chrome.options import Options
  from selenium.webdriver.common.by import By
  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  
  # 初始化Chrome启动配置
  chrome_options = Options()
  chrome_options.add_argument("--disable-blink-features=AutomationControlled")
  chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
  chrome_options.add_experimental_option("useAutomationExtension", False)
  
  # 启动Chrome驱动
  driver = webdriver.Chrome(
      service=Service(ChromeDriverManager().install()),
      options=chrome_options
  )
  
  # 新页面加载前执行脚本，彻底抹除webdriver属性标识
  driver.execute_cdp_cmd(
      "Page.addScriptToEvaluateOnNewDocument",
      {"source": "Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"}
  )
  
  # 访问目标页面
  target_url = "https://www.hotic.com.tr/p/hakiki-deri-camel-erkek-cuzdan-168675?_sgm_campaign=scn_2a06ce3c78082000&_sgm_source=168675&_sgm_action=click"
  driver.get(target_url)
  
  # 使用显式等待加载目标元素，避免页面未渲染完成就触发定位
  target_element = WebDriverWait(driver, 15).until(
      EC.presence_of_element_located((By.CSS_SELECTOR, "目标元素的CSS选择器"))
  )
  
  driver.quit()
  

• 第三步：规避其余容易触发反爬的细节
  • 保持Chrome窗口默认尺寸，不要人为把窗口调整为极小尺寸，异常窗口比例会被反爬脚本标记
  • 保证ChromeDriver版本和本地安装的Chrome浏览器大版本完全匹配，版本不一致会触发基础异常检测
  • 页面加载完成后不要立刻高频发起元素定位或数据请求，保持和普通用户一致的访问节奏
• 进阶排查方向
  如果上述配置完成后依然无法加载目标元素，可以在WebDriver打开页面后，打开浏览器控制台输入navigator.webdriver查看返回值：
  • 如果返回true，说明站点存在更深层的特征检测逻辑，可以替换为内置全量反爬检测绕过逻辑的驱动实现，不需要手动逐行配置特征规则
  • 如果返回undefined但元素依然不渲染，可以检查站点是否存在IP频率限制、地理位置限制类规则，通过配置可信代理IP的方式重试访问。

内容的提问来源于stack exchange，提问作者Süleyman Ali Akpınar