使用XPath提取网页邮箱地址常规方法失效问题排查

• 邮箱反爬混淆：这类公共选举站点为了避免爬虫批量采集邮箱发送垃圾邮件，不会将明文邮箱地址、mailto:协议链接直接写入首次返回的静态HTML源码。你能正常采集其他普通链接，是因为这些链接是静态写死在初始响应里的，而邮箱内容要么通过JavaScript异步加载填充，要么做了字符拆分、实体编码、轻量加密处理，需要前端JS执行后才会渲染成可见的明文，直接用静态XPath匹配初始HTML源码自然无法命中。
• XPath路径硬编码容错性差：你写的第一条XPath直接写死了tbody[3]/tr[3]/td[2]这类位置索引，一方面浏览器渲染表格时会自动补全tbody标签，初始HTML里的表格结构可能和你在开发者工具里看到的渲染后DOM结构不一致；另一方面如果是动态渲染的内容，初始加载时对应DOM节点根本不存在，路径直接失效。
• 请求不完整触发反爬：你URL里携带的jsessionid是站点的会话校验标识，如果发起请求时没有携带合法的会话Cookie、正常的浏览器User-Agent等请求头，站点会判定请求为爬虫，直接不返回邮箱相关的内容片段。

• 先确认内容加载形式：在浏览器中打开目标页面，右键选择「查看页面源代码」（不要用F12打开的元素检查面板，那个是渲染后的DOM），全局搜索@或mailto关键词，如果搜索不到，就可以确认邮箱是动态渲染/混淆生成的，静态爬取初始HTML无法获取。
• 适配动态渲染场景：放弃普通静态HTTP请求库，改用可模拟浏览器执行JavaScript的工具（如Selenium、Playwright）发起请求，等页面所有元素加载完成、JS执行完毕后，再在渲染完成的DOM树上执行XPath查询。
• 适配混淆场景：
  • 如果邮箱被拆分为多个标签拼接，先定位到id="collapseEodContact"的联系信息区块，提取区块内所有文本内容拼接后，用邮箱正则[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}匹配提取目标地址，再按顺序取第三个即可。
  • 如果邮箱是经过轻量加密后由JS解密渲染的，可以在浏览器网络面板中查找接口返回的原始数据，或者通过断点调试找到JS解密逻辑，直接获取明文邮箱。
• 优化XPath逻辑：不要硬编码表格位置索引，先锚定首席选举官员对应的联系模块，再在模块范围内查找邮箱特征内容，避免因为页面结构微调导致路径失效。
• 补全请求标识：发起请求时携带和浏览器一致的User-Agent、合法的会话Cookie（包含URL对应的jsessionid值），避免被反爬策略拦截返回不完整页面。

内容的提问来源于stack exchange，提问作者José Luis