Python移除HtmlElement中的BOM字符：解决XPath查询编码问题

这个问题我碰到过好几次了，带BOM的UTF-8页面确实容易给lxml解析添乱。咱们一步步来解决：

方法一：手动处理响应字节（最可靠） #

BOM本质是响应内容开头的三个字节\xef\xbb\xbf，直接从原始字节里去掉最稳妥，能避免编码解析的坑：

session = requests.Session()
page = session.get(url)

# 检查并移除BOM字节
bom_bytes = b'\xef\xbb\xbf'
if page.content.startswith(bom_bytes):
    cleaned_content = page.content[len(bom_bytes):]
else:
    cleaned_content = page.content

# 用清理后的字节解析HTML
page_data = lxml.html.fromstring(cleaned_content)

方法二：指定正确的编码自动去除BOM #

requests默认的编码检测可能没识别出UTF-8 with BOM，手动指定utf-8-sig编码（这个编码会自动忽略BOM）：

session = requests.Session()
page = session.get(url)

# 设置编码为utf-8-sig，自动处理BOM
page.encoding = 'utf-8-sig'
page_data = lxml.html.fromstring(page.text)

方法三：直接清理文本中的BOM字符 #

如果前两种方法不适用，也可以直接把文本里的\ufeff字符替换掉（适合BOM出现在非开头位置的极端情况）：

session = requests.Session()
page = session.get(url)

# 移除文本中的所有BOM字符
cleaned_text = page.text.replace('\ufeff', '')
page_data = lxml.html.fromstring(cleaned_text)

推荐优先用方法一或方法二，这两种从编码/字节层面处理，比单纯替换字符更彻底。

内容的提问来源于stack exchange，提问作者Konkovac