使用Selenium替代Playwright时网页模块不可见的问题排查

可能的原因 #

• Selenium默认浏览器配置（窗口尺寸、用户代理、会话状态等）与Playwright不一致，网站基于这些差异隐藏了目标模块。
• 页面加载等待逻辑不完善：Selenium未等待模块渲染完成就执行查找，而Playwright默认的自动等待机制更适配动态内容加载。
• 网站反爬机制识别了Selenium的驱动特征（如navigator.webdriver属性），主动隐藏可持续发展模块。
• 按钮点击触发的事件不完整：Playwright的点击更贴近真实用户交互，Selenium直接调用click()可能未触发模块展开所需的全部前端事件。

解决方法 #

1. 对齐浏览器环境配置 #

• 匹配Playwright使用的窗口大小：

  driver.set_window_size(1920, 1080)  # 替换为Playwright的窗口尺寸
  

• 配置相同的用户代理：

  from selenium.webdriver.chrome.options import Options
  
  options = Options()
  options.add_argument("--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")  # 替换为Playwright的UA
  

• 使用浏览器持久化会话（如果Playwright用了持久上下文）：

  options.add_argument("--user-data-dir=C:/path/to/your/chrome/profile")  # 本地Chrome用户目录路径
  

2. 优化元素等待策略 #

避免用time.sleep()，改用显式等待确保元素可交互：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

wait = WebDriverWait(driver, 15)

# 等待按钮可点击并执行点击
expand_button = wait.until(EC.element_to_be_clickable((By.XPATH, "//button[contains(text(),'可持续发展')]")))
expand_button.click()

# 等待目标模块可见后抓取数据
co2_module = wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, ".sustainability-module")))
co2_emission = co2_module.find_element(By.CSS_SELECTOR, ".co2-value").text
compensation_price = co2_module.find_element(By.CSS_SELECTOR, ".compensation-price").text

3. 绕过Selenium特征检测 #

• 隐藏navigator.webdriver属性：

  driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")
  

• 启用Chrome新无头模式（减少被识别概率）：

  options.add_argument("--headless=new")
  options.add_argument("--disable-blink-features=AutomationControlled")
  

4. 模拟真实用户交互 #

用ActionChains模拟完整的鼠标操作流程：

from selenium.webdriver.common.action_chains import ActionChains

action = ActionChains(driver)
action.move_to_element(expand_button).pause(0.5).click().perform()

如果目标模块在iframe内，需先切换到对应iframe：

iframe = wait.until(EC.frame_to_be_available_and_switch_to_it((By.CSS_SELECTOR, ".module-iframe")))
# 操作完成后切回主文档
driver.switch_to.default_content()

内容的提问来源于stack exchange，提问作者Elodin