使用Selenium hover标签爬取商品遇超时异常，求优化方案

原代码问题分析 #

1. 绝对XPATH不可靠：你用的/html/body/div[6]/div/header/nav/ul/li[1]/a/span是绝对路径，页面结构稍有变动就会定位失败，直接导致超时。
2. Headless模式下悬停失效：无界面模式下，ActionChains的鼠标悬停操作经常因为缺少真实浏览器的渲染上下文而无法正常触发元素显示。
3. 路径绕远：目标页面/collections/ebikes直接展示所有电动自行车商品，完全不需要通过悬停导航栏来获取标题，属于多余操作。

更优实现方案 #

直接定位页面上的商品卡片元素，提取标题和价格，同时优化定位方式和等待策略：

# 安装依赖（仅首次运行需要）
!apt-get update
!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver /usr/bin
!pip install selenium

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait 
from selenium.webdriver.support import expected_conditions as EC

# 配置Chrome选项
options = webdriver.ChromeOptions()
options.add_argument('--headless=new')  # 使用新版headless模式，兼容性更好
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument('--window-size=1920,1080')  # 设置窗口大小，避免元素因视口问题不可见

# 初始化驱动
driver = webdriver.Chrome('chromedriver', options=options)
driver.implicitly_wait(10)  # 全局隐式等待

try:
    driver.get('https://denago.com/collections/ebikes')
    
    # 等待商品卡片加载完成，用相对定位
    WebDriverWait(driver, 10).until(
        EC.presence_of_all_elements_located((By.CLASS_NAME, 'product-card'))
    )
    
    # 提取商品标题和价格
    product_cards = driver.find_elements(By.CLASS_NAME, 'product-card')
    for card in product_cards:
        # 定位标题
        title = card.find_element(By.CLASS_NAME, 'product-card__title').text
        # 定位价格
        price = card.find_element(By.CLASS_NAME, 'product-card__price').text
        print(f"标题: {title}\n价格: {price}\n---")
finally:
    driver.quit()  # 确保关闭驱动

关键优化点 #

• 使用新版Headless模式：--headless=new是Chrome 112+的新特性，对ActionChains等操作支持更好，即使后续需要悬停也能更稳定。
• 相对定位：通过商品卡片的product-card类作为父元素，再定位内部的标题和价格，避免绝对路径的脆弱性。
• 显式等待商品加载：等待所有商品卡片出现后再开始提取，避免因页面未加载完成导致的元素找不到问题。
• 设置窗口大小：Headless模式默认窗口很小，可能导致部分元素被隐藏，设置标准窗口大小确保元素可见。

如果确实需要触发悬停操作（比如某些信息需要悬停才显示），可以用以下方式优化悬停逻辑：

# 假设需要悬停某个元素
target_element = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.CSS_SELECTOR, 'nav ul li:first-child a'))
)
# 用JS模拟悬停，比ActionChains更稳定
driver.execute_script("arguments[0].dispatchEvent(new MouseEvent('mouseover', {bubbles: true}));", target_element)

用JavaScript模拟鼠标悬停事件，在Headless模式下的稳定性远高于ActionChains的move_to_element。

内容的提问来源于stack exchange，提问作者kaispace30098