Python网页爬虫无法提取真实邮箱地址，寻求技术解决方案

这种情况太常见了——很多网站不会把邮箱地址直接明文写在HTML里，要么是通过JavaScript动态加载，要么是做了加密处理，防止被爬虫轻易抓取。我给你几个排查和解决的方向：

• 第一步：检查网页的Network请求
  打开浏览器的开发者工具（F12），切换到Network标签页，然后点击那个"发送邮件"按钮，看看有没有新的AJAX请求发出去。很多网站会在点击按钮时才从后端获取真实邮箱地址，你可以直接复制这个请求的URL，用requests库去调用它，就能拿到邮箱了。

• 第二步：查看按钮的HTML属性和JS绑定事件
  右键点击按钮选择"检查"，看看按钮标签有没有类似data-email、data-encrypted-email这类自定义属性，有些网站会把加密后的邮箱存在这里，比如用Base64编码。举个例子，如果看到：

  <button class="send-email" data-encoded="dXNlckBleGFtcGxlLmNvbQ==">发送邮件</button>
  

  那你可以用Python的base64模块解密：

  import base64
  encoded_email = "dXNlckBleGFtcGxlLmNvbQ=="
  real_email = base64.b64decode(encoded_email).decode('utf-8')
  

  另外，看看按钮的onclick事件或者绑定的JS函数，有些会在函数里拼接邮箱地址（比如把字符串拆分后组合），你可以把这段JS逻辑转成Python代码来还原邮箱。

• 第三步：尝试用Selenium模拟交互
  如果邮箱是完全通过前端动态渲染出来的（比如点击按钮后才显示在页面上），那可以用Selenium模拟点击按钮，然后从页面上提取出现的邮箱地址。示例代码大概是这样：

  from selenium import webdriver
  from selenium.webdriver.common.by import By
  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  
  driver = webdriver.Chrome()
  driver.get("你的目标网站链接")
  
  # 找到邮件按钮并点击
  email_btn = WebDriverWait(driver, 10).until(
      EC.element_to_be_clickable((By.CLASS_NAME, "email-button-class"))
  )
  email_btn.click()
  
  # 等待邮箱元素出现并提取
  real_email = WebDriverWait(driver, 10).until(
      EC.presence_of_element_located((By.ID, "email-display-element"))
  ).text
  
  print(real_email)
  driver.quit()
  

• 注意事项
  别忘了检查网站的robots.txt文件，确保你的爬虫行为符合网站的规则，同时不要频繁发送请求，避免触发反爬机制被封禁IP。

内容的提问来源于stack exchange，提问作者SIM