Amazon EC2（Ubuntu）实例中Selenium WebDriver等待条件失效问题

可能的原因 #

1. ChromeDriver路径不兼容：代码硬编码了Windows平台的ChromeDriver路径c:/selenium/driver/chromedriver.exe，Ubuntu系统中不存在该路径，且注释掉了自动适配的WebDriverManager代码，导致无法正确启动驱动。
2. Headless模式参数配置不足：Ubuntu下的Headless Chrome缺少窗口大小、共享内存优化等关键参数，且User-Agent格式错误（多余双引号）可能导致页面识别异常。
3. 登录拦截验证：Amazon可能检测到EC2实例IP或Headless浏览器环境，触发验证码、设备验证等额外校验，导致登录未真正完成，页面停留在登录环节。
4. 版本不匹配：本地Windows的Chrome版本与EC2上的Chrome版本不一致，手动指定的Windows版ChromeDriver无法在Linux环境运行，且版本不匹配会导致驱动失效。

解决方案 #

1. 修复ChromeDriver适配问题 #

删除硬编码的Windows路径，启用WebDriverManager自动安装对应系统的ChromeDriver，确保版本匹配：

# 替换原driver初始化代码
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=option)

2. 完善Headless模式配置 #

更新ChromeOptions参数，适配Linux环境：

option = webdriver.chrome.options.Options()
# 修正User-Agent格式，使用标准Linux Chrome UA
option.add_argument('--user-agent=Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.115 Safari/537.36')
option.add_argument("--headless=new")  # 使用新版Headless模式，兼容性更好
option.add_argument('--no-sandbox')
option.add_argument('--disable-dev-shm-usage')  # 解决Linux共享内存不足问题
option.add_argument('--window-size=1920,1080')  # 设置窗口大小，避免布局异常

3. 排查并处理登录拦截 #

• 添加截图代码，查看登录后的页面状态，确认是否有验证环节：

  driver.find_element(By.ID, "signInSubmit").click()
  driver.save_screenshot('after_login.png')  # 生成截图文件，检查是否出现验证码
  

• 若触发验证，可尝试：
  • 手动完成一次验证后，导出本地登录Cookie并导入到EC2的浏览器会话中（注意Cookie有效期）；
  • 优先使用Amazon官方提供的API接口获取下载链接，替代Selenium模拟登录（更稳定且不易被拦截）。

4. 优化等待逻辑，避免固定延迟 #

替换time.sleep为更可靠的显式等待，确保登录完成后再查找元素：

driver.find_element(By.ID, "signInSubmit").click()

# 等待登录按钮消失，确认登录动作完成
WebDriverWait(driver, 30).until(EC.invisibility_of_element_located((By.ID, "signInSubmit")))
# 等待目标页面URL加载完成
WebDriverWait(driver, 30).until(EC.url_contains("requested_downloads"))

# 使用visibility_of_element_located确保元素可见
download_link = WebDriverWait(driver, 30).until(EC.visibility_of_element_located((By.CSS_SELECTOR, '.download-link')))

5. 确保EC2环境依赖完整 #

在Ubuntu实例上安装Chrome浏览器及Python依赖：

# 安装Chrome浏览器
sudo apt update && sudo apt install -y chromium-browser
# 安装Python依赖
pip install selenium webdriver-manager

内容的提问来源于stack exchange，提问作者Young-Kwang Oh