Python lxml.html xpath无返回元素？维基页面解析//title返回空列表

• 编码自动识别偏差
  维基百科的编辑页面偶尔不会在响应头中携带明确的charset声明，requests 会默认把这类响应判定为ISO-8859-1编码。转码过程中，非ASCII内容段容易生成lxml无法识别的非法控制字符，lxml 解析时遇到这类字符会直接终止文档构建流程。即便打印出的前500字符看起来结构完整，实际解析树可能只覆盖了片段内容，title节点并未被加载到树中。
• 解析容错逻辑不匹配
  维基编辑页面对未登录的爬取请求，偶发返回带轻微语法错误的HTML结构（比如未正确转义的特殊标签、缺失的闭合标记）。lxml 的默认HTML解析容错逻辑和浏览器存在差异，遇到这类不规范内容时，可能将head段的节点判定为游离文档片段，不挂载到正式DOM树的根路径下，此时执行//title全局路径查询自然会返回空列表。
• 反爬策略的随机降级
  requests 默认携带的python-requests版本标识会被维基的反爬规则识别，系统会对这类请求随机触发降级响应：这类响应的前500字符和正常页面完全一致，但会在DOM结构中插入少量干扰性的不规范代码，专门打乱基于默认lxml解析的爬取逻辑，20%的异常概率和这类策略的触发频率完全吻合。

• 强制指定响应编码：拿到响应后手动设置resp.encoding = "utf-8"，不依赖requests的自动编码识别，从根源避免转码错误生成的非法字符打断解析流程。
• 替换请求头标识：在请求中传入常见浏览器的User-Agent字段，降低被反爬系统识别的概率，减少降级响应的触发次数。
• 开启lxml错误恢复模式：初始化解析器时传入recover=True参数，让解析器遇到不规范内容时自动跳过错误位置，尽可能完整构建DOM树，避免因为单处语法错误导致整个节点丢失。
• 增加解析结果校验：如果xpath查询返回空列表，可先通过字符串匹配检查响应内容中是否存在目标标签，必要时直接用正则提取内容，不强制依赖DOM解析的节点匹配。

调整后的参考代码 #

import requests
import lxml.html

# 模拟浏览器请求头
browser_headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 14_2) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.2 Safari/605.1.15"
}

url = "https://en.wikipedia.org/w/index.php?title=Web_crawler&action=edit&section=2"
resp = requests.get(url, headers=browser_headers)
# 强制指定UTF-8编码，避免自动识别错误
resp.encoding = "utf-8"
# 开启解析错误恢复模式
recover_parser = lxml.html.HTMLParser(recover=True)
tree = lxml.html.fromstring(resp.text, parser=recover_parser)
title_nodes = tree.xpath("//title")

内容的提问来源于stack exchange，提问作者Dany M