Python3 Selenium点击按钮爬取隐藏邮箱数据的错误排查与实现
原代码运行异常的核心原因
- 旧版API触发直接异常退出:Selenium 4.x 版本已经完全删除
find_elements_by_class_name这类旧式定位方法,代码运行到定位逻辑时会直接抛出AttributeError,被裸except捕获后立刻执行break跳出循环,后续没有任何延迟就走到driver.quit(),所以你只会看到Chrome打开目标页面后瞬间关闭,完全看不到点击交互的过程。 - 定位对象类型错误:哪怕仍使用支持旧API的Selenium 3.x版本,
find_elements_by_class_name返回的是匹配到的元素列表,列表本身没有click()方法,强行调用会抛出异常,同样会直接触发break退出流程。 - DOM解析时机错误:代码在点击隐藏按钮之前,就把当前隐藏状态的页面源码生成了BeautifulSoup对象,哪怕后续点击成功,拿到的soup对应的还是点击前的旧DOM,根本读不到渲染出来的邮箱内容。
- 冗余死循环逻辑:整段代码写了无边界的
while True,但循环体内没有推进逻辑,只要出现任何异常就直接break,整个交互流程相当于根本没启动。 - 裸
except吞掉所有异常:没有细分异常类型,所有报错都会被直接捕获,你根本看不到具体是哪一步执行失败,只会看到浏览器开了就关。
可正常运行的Selenium+BeautifulSoup修正代码
import time import re from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC url = "https://acukwik.com/Basic-Info/UUBP/RUSAERO" driver = webdriver.Chrome() # 设置全局隐式等待,避免元素未加载完成就报错 driver.implicitly_wait(10) driver.get(url) try: # 定位所有带ghEmail类名的可点击元素 email_click_targets = driver.find_elements(By.CLASS_NAME, "ghEmail") if email_click_targets: # 取列表中第一个元素执行点击 email_click_targets[0].click() # 显式等待邮箱链接元素渲染完成,替代固定时长sleep WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.XPATH, "//a[contains(@href, 'mailto:')]")) ) # 点击完成后重新读取最新页面DOM生成soup soup = BeautifulSoup(driver.page_source, 'html.parser') email_label = soup.find('div', text=re.compile('Email')) if email_label: email_link = email_label.find_next('a') if email_link and 'href' in email_link.attrs: print("解析得到的邮箱:", email_link['href'].replace('mailto:', '')) finally: # 延迟2秒关闭浏览器,方便观察页面点击后的状态 time.sleep(2) driver.quit()
关于纯BeautifulSoup实现的可行性
完全可以不启动Selenium浏览器完成该爬取需求,这类站点的邮箱隐藏逻辑基本分为两类,都可以通过纯请求+BeautifulSoup的方案解决:
- 前端本地JS拼接逻辑:原始HTML里已经把完整邮箱拆成字符串片段存在隐藏标签的自定义属性里,点击按钮只是触发JS把片段拼接成mailto链接插入DOM,没有发起额外的后端请求。这种情况直接用requests获取原始页面HTML,用正则匹配所有隐藏的邮箱片段,本地拼接后用BeautifulSoup解析结构即可,全程不需要启动浏览器。
- 后端接口返回隐藏邮箱:点击按钮时前端会向后端发送一次带校验参数的请求,返回值中携带明文邮箱。这种情况只需要通过浏览器开发者工具抓到该请求的地址、请求头、参数,用requests模拟发送请求,拿到返回内容后直接用BeautifulSoup解析,运行效率比启动Selenium浏览器高很多。
内容的提问来源于stack exchange,提问作者David Leites
相关产品推荐
相关产品推荐

