Selenium WebDriver无法加载JavaScript表格问题求助

以下是针对你遇到的问题的几种可行解决方案，按优先级尝试：

• 优化Headless模式配置，规避网站自动化检测
  很多网站会识别Headless Chrome的特征并限制行为，添加以下参数让浏览器更接近真实用户环境：

  options = webdriver.ChromeOptions()
  # 使用新版Headless模式，行为更接近正常浏览器
  options.add_argument('--headless=new')
  # 禁用自动化检测特征
  options.add_argument('--disable-blink-features=AutomationControlled')
  # 设置真实的User-Agent
  options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36')
  # 设置窗口大小，避免布局异常
  options.add_argument('--window-size=1920,1080')
  # 禁用自动化扩展和开关
  options.add_experimental_option("excludeSwitches", ["enable-automation"])
  options.add_experimental_option('useAutomationExtension', False)
  
  driver = webdriver.Chrome(options=options)
  # 移除navigator.webdriver标识
  driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")
  

• 替换JS点击为原生Selenium点击
  用execute_script模拟点击可能无法触发完整的事件链（如onmousedown、onclick联动），改用原生点击：

  # 原代码：driver.execute_script("arguments[0].click();", search_button)
  search_button.click()
  

• 调整页面加载策略，避免等待无关资源
  默认的normal加载策略会等待所有资源加载完成，改用eager只等待DOM加载完成，减少卡住概率：

  options.page_load_strategy = 'eager'  # 可选值：normal/eager/none
  

• 等待AJAX请求完成而非仅等待元素
  表格通过JS异步加载时，直接等待元素可能无效，可等待页面状态或特定网络请求：
  等待页面就绪状态：

  from selenium.webdriver.support.ui import WebDriverWait
  
  # 点击搜索后等待页面加载完成
  WebDriverWait(driver, 20).until(
      lambda d: d.execute_script('return document.readyState') == 'complete'
  )
  

  若知道表格数据对应的API请求，可监听网络请求（需开启CDP）：

  # 开启网络监听
  driver.execute_cdp_cmd('Network.enable', {})
  search_button.click()
  
  # 等待包含目标API路径的请求完成（替换为实际的API路径）
  WebDriverWait(driver, 20).until(
      lambda d: any('/api/table-data' in req['url'] for req in d.execute_cdp_cmd('Network.getRequests', {}))
  )
  

• 等待加载遮罩消失
  若页面有加载遮罩层，需等待其消失后再获取表格：

  from selenium.webdriver.support import expected_conditions as EC
  
  # 替换为实际的加载遮罩选择器
  WebDriverWait(driver, 15).until(
      EC.invisibility_of_element_located((By.CSS_SELECTOR, '.loading-overlay'))
  )
  

内容的提问来源于stack exchange，提问作者HavingNoHead