Linux服务器上Selenium WebDriver无法定位元素但本地运行正常

在Linux服务器上运行网页爬虫时，Selenium WebDriver无法定位元素，本地运行完全正常，但服务器上会抛出NoSuchElementException。

错误信息：

selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":".Crom_table__p1iZz"}

已尝试操作：

• 使用WebDriverWait等待表格加载，无效果
• 对比发现服务器与本地页面HTML结构差异显著
• 尝试自定义user-agent规避差异，问题仍未解决

代码片段：

def team_defenses(season):
    url = 'https://www.nba.com/stats/teams/defense?Season=' + season
  
    driver = webdriver.Chrome(service=ChromeService(ChromeDriverManager().install()), options=get_driver_options())

    driver.get(url)

    # Wait for the table to load, if it doesn't load display content
    try:
        WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CLASS_NAME, 'Crom_table__p1iZz')))
    except Exception as e:
        print(f"Error: {e}")
        with open('error_page_source.txt', 'w') as f:
            f.write(driver.page_source)
        driver.quit()
        return

    table = driver.find_element(By.CLASS_NAME, 'Crom_table__p1iZz')

    # ... rest of my code ...

    driver.quit()

def get_driver_options():
    options = Options()
    options.add_argument('--headless')  # Runs Chrome in headless mode.
    options.add_argument('--no-sandbox')  # Bypass OS security model
    options.add_argument('--disable-dev-shm-usage')  # Overcome limited resource problems
    return options

• 补充无头模式窗口尺寸
  Linux服务器上的无头Chrome默认窗口极小，大概率触发移动端页面渲染，导致HTML结构和本地不同。在get_driver_options中添加：

  options.add_argument('--window-size=1920,1080')
  

• 完善浏览器环境模拟
  仅设置user-agent不够，需添加参数避免被识别为自动化工具：

  options.add_argument('--disable-blink-features=AutomationControlled')
  options.add_experimental_option("excludeSwitches", ["enable-automation"])
  options.add_experimental_option('useAutomationExtension', False)
  

  初始化driver后再执行脚本隐藏自动化标识：

  driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")
  

• 检查iframe嵌套情况
  查看服务器保存的error_page_source.txt，确认目标表格是否被嵌套在iframe里。如果是，需先切换到iframe再定位：

  # 示例：通过id定位iframe，可根据实际情况替换定位方式
  WebDriverWait(driver, 10).until(EC.frame_to_be_available_and_switch_to_it((By.ID, 'target-iframe')))
  # 之后再定位表格
  table = WebDriverWait(driver, 10).until(EC.visibility_of_element_located((By.CLASS_NAME, 'Crom_table__p1iZz')))
  # 操作完成后切回主文档
  driver.switch_to.default_content()
  

• 优化等待逻辑
  改用visibility_of_element_located替代presence_of_element_located，同时适当延长等待时长，确保元素完全渲染：

  WebDriverWait(driver, 20).until(EC.visibility_of_element_located((By.CLASS_NAME, 'Crom_table__p1iZz')))
  

• 排查反爬验证
  检查error_page_source.txt内容，确认服务器是否触发了验证码、人机验证等反爬机制。如果有，需添加对应处理逻辑，或使用代理IP分散请求。

内容的提问来源于stack exchange，提问作者Lenart Golob