如何使用Selenium WebDriver从指定TripAdvisor页面提取邮箱地址？

原代码问题 #

1. 第一段JS代码：

   • document.getElementsByClassName('YDAvY R2 F1 e k')返回的是HTMLCollection集合，不是单个元素，无法直接链式调用getElementsByTagName
   • 代码未闭合字符串引号，存在语法错误
   • 定位的class并非目标class（目标是IdiaP Me sNsFa）

2. 第二段XPath代码：

   • 使用了动态生成的component_52 ID，页面更新后会失效，稳定性极差
   • 若元素未加载完成就执行定位，或定位结果异常，后续处理可能引发ValueError: All arrays must be of the same length

正确实现方案 #

方法1：JavaScript + querySelector（推荐） #

利用querySelector直接定位目标class下的<a>标签，语法简洁且稳定：

from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://www.tripadvisor.co.uk/Restaurant_Review-g186389-d14025284-Reviews-The_Queen_s_Head-Dorking_Surrey_England.html")

# 执行JS提取a标签的href属性，去除mailto:前缀得到邮箱
email = driver.execute_script("""
    const emailLink = document.querySelector('.IdiaP.Me.sNsFa a');
    return emailLink ? emailLink.href.replace('mailto:', '') : null;
""")

print(email)
driver.quit()

方法2：Selenium显式等待 + CSS选择器 #

加入显式等待确保元素加载完成，避免因页面未渲染导致的定位失败：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("https://www.tripadvisor.co.uk/Restaurant_Review-g186389-d14025284-Reviews-The_Queen_s_Head-Dorking_Surrey_England.html")

try:
    # 等待目标元素可见，最多等待10秒
    email_link = WebDriverWait(driver, 10).until(
        EC.visibility_of_element_located((By.CSS_SELECTOR, '.IdiaP.Me.sNsFa a'))
    )
    # 提取邮箱地址
    email = email_link.get_attribute('href').replace('mailto:', '')
    print(email)
finally:
    driver.quit()

关键注意点 #

• 目标元素的class是IdiaP Me sNsFa，CSS选择器中需用.连接多个class，写成.IdiaP.Me.sNsFa
• 邮箱链接以mailto:开头，需去除前缀才能得到纯邮箱地址
• 加入显式等待可避免页面加载延迟导致的元素定位失败问题

内容的提问来源于stack exchange，提问作者Kelly Tang