Scrapy中XPath返回非目标标签后代HTML，XPath测试无结果是什么原因？

问题原因 #

• 反爬机制导致返回内容异常：Oddsportal具备反爬虫检测逻辑，Scrapy默认请求头、第三方XPath测试工具的默认请求都会被识别为爬虫，返回结构错乱、和浏览器端不一致的HTML内容，甚至不包含event-status节点，这就是你在XPath测试工具中查询无结果的核心原因。
• 动态JS渲染导致结构不符：你在浏览器中看到的完整DOM结构是页面加载完成后JS动态生成的，Scrapy默认发送的HTTP请求只能拿到未执行JS的初始静态HTML，此时页面的节点结构、节点属性都和渲染后存在差异。
• HTML不规范导致解析偏差：如果返回的静态HTML存在标签未闭合、语法错误的问题，Scrapy默认使用的lxml解析器会自动修正DOM结构，可能误将其他节点判定为#event-status的子节点，导致你获取到多余的内容。

解决方案 #

• 先校验原始响应内容：将Scrapy拿到的响应内容response.text写入本地HTML文件打开查看，确认你要查询的event-status节点是否存在、结构是否符合预期，避免用浏览器渲染后的结构去匹配静态HTML的XPath。
• 配置正常的请求参数：给Scrapy请求添加浏览器级别的User-Agent、必要的Cookie和Referer头，绕过基础反爬，拿到和浏览器端一致的初始HTML内容。
• 处理动态渲染内容：如果目标节点确实是JS动态生成的，优先找页面加载时请求的后端数据接口直接拿数据；如果找不到接口，可以集成Scrapy Playwright插件，用无头浏览器加载页面完成JS渲染后再执行XPath查询。
• 更换高容错解析器：如果是HTML语法错误导致的解析偏差，可以改用BeautifulSoup的html.parser解析响应内容，容错性更高，参考代码如下：

from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'html.parser')
target_node = soup.select_one('#event-status')
# 可直接转换为字符串拿到节点HTML内容
target_html = str(target_node)

内容的提问来源于stack exchange，提问作者Jossy