如何使用Scrapy提取无API被动生成、选择器无法定位的动态邮箱地址

问题根因 #

你在静态响应中能看到邮箱内容但常规DOM选择器无法定位，核心原因是邮箱并未作为独立文本节点放在DOM结构中，而是藏在自定义属性、<script>标签的JS代码段，或是通过CSS伪元素动态插入，常规的DOM节点匹配规则自然无法捕获。

分场景解决方案 #

1. 前置验证步骤 #

先在scrapy shell中执行 view(response) 打开本地保存的静态响应源码，不要使用浏览器F12的实时DOM（会包含JS执行后的渲染结果），直接搜索邮箱关键字定位它的存储形态，再对应处理。

2. 不同存储形态的提取方法 #

• 自定义属性存储
  这类场景最常见，邮箱会被拆分或完整存放在data-email、data-user、data-domain这类自定义属性中，直接用选择器提取属性值后做简单字符串处理即可：

  # 完整邮箱存在属性中
  email = response.xpath('//span[contains(@class,"contact-email")]/@data-email').get()
  # 拆分存储的情况，拼接即可
  user = response.xpath('//span/@data-user').get()
  domain = response.xpath('//span/@data-domain').get()
  email = f"{user}@{domain}"