You need to enable JavaScript to run this app. Python3 Selenium点击按钮爬取隐藏邮箱数据的错误排查与实现
优惠活动
大模型
产品
解决方案
定价
更多

Python3 Selenium点击按钮爬取隐藏邮箱数据的错误排查与实现

原代码运行异常的核心原因
  • 旧版API触发直接异常退出:Selenium 4.x 版本已经完全删除find_elements_by_class_name这类旧式定位方法,代码运行到定位逻辑时会直接抛出AttributeError,被裸except捕获后立刻执行break跳出循环,后续没有任何延迟就走到driver.quit(),所以你只会看到Chrome打开目标页面后瞬间关闭,完全看不到点击交互的过程。
  • 定位对象类型错误:哪怕仍使用支持旧API的Selenium 3.x版本,find_elements_by_class_name返回的是匹配到的元素列表,列表本身没有click()方法,强行调用会抛出异常,同样会直接触发break退出流程。
  • DOM解析时机错误:代码在点击隐藏按钮之前,就把当前隐藏状态的页面源码生成了BeautifulSoup对象,哪怕后续点击成功,拿到的soup对应的还是点击前的旧DOM,根本读不到渲染出来的邮箱内容。
  • 冗余死循环逻辑:整段代码写了无边界的while True,但循环体内没有推进逻辑,只要出现任何异常就直接break,整个交互流程相当于根本没启动。
  • 裸except吞掉所有异常:没有细分异常类型,所有报错都会被直接捕获,你根本看不到具体是哪一步执行失败,只会看到浏览器开了就关。
可正常运行的Selenium+BeautifulSoup修正代码
import time
import re
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

url = "https://acukwik.com/Basic-Info/UUBP/RUSAERO"

driver = webdriver.Chrome()
# 设置全局隐式等待,避免元素未加载完成就报错
driver.implicitly_wait(10)
driver.get(url)

try:
    # 定位所有带ghEmail类名的可点击元素
    email_click_targets = driver.find_elements(By.CLASS_NAME, "ghEmail")
    if email_click_targets:
        # 取列表中第一个元素执行点击
        email_click_targets[0].click()
        # 显式等待邮箱链接元素渲染完成,替代固定时长sleep
        WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.XPATH, "//a[contains(@href, 'mailto:')]"))
        )
    # 点击完成后重新读取最新页面DOM生成soup
    soup = BeautifulSoup(driver.page_source, 'html.parser')
    email_label = soup.find('div', text=re.compile('Email'))
    if email_label:
        email_link = email_label.find_next('a')
        if email_link and 'href' in email_link.attrs:
            print("解析得到的邮箱:", email_link['href'].replace('mailto:', ''))
finally:
    # 延迟2秒关闭浏览器,方便观察页面点击后的状态
    time.sleep(2)
    driver.quit()
关于纯BeautifulSoup实现的可行性

完全可以不启动Selenium浏览器完成该爬取需求,这类站点的邮箱隐藏逻辑基本分为两类,都可以通过纯请求+BeautifulSoup的方案解决:

  • 前端本地JS拼接逻辑:原始HTML里已经把完整邮箱拆成字符串片段存在隐藏标签的自定义属性里,点击按钮只是触发JS把片段拼接成mailto链接插入DOM,没有发起额外的后端请求。这种情况直接用requests获取原始页面HTML,用正则匹配所有隐藏的邮箱片段,本地拼接后用BeautifulSoup解析结构即可,全程不需要启动浏览器。
  • 后端接口返回隐藏邮箱:点击按钮时前端会向后端发送一次带校验参数的请求,返回值中携带明文邮箱。这种情况只需要通过浏览器开发者工具抓到该请求的地址、请求头、参数,用requests模拟发送请求,拿到返回内容后直接用BeautifulSoup解析,运行效率比启动Selenium浏览器高很多。

内容的提问来源于stack exchange,提问作者David Leites

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 08:45:04