为何指定lxml解析器时，BeautifulSoup解析XML远慢于lxml？

我有一个35000行的XML文件需要解析并检索，最初选择BeautifulSoup处理，但发现即便指定features为"xml"（基于lxml），解析速度仍极慢。我尝试安装cchardet模块加速解码，但无效果。而直接使用lxml的etree解析速度快很多，由于我使用树莓派，这种耗时差异对我影响极大。请问还有其他优化建议吗？是否需要改用lxml重写代码？

测试代码及结果 #

import time
import cchardet
from lxml import etree
from bs4 import BeautifulSoup

tic = time.time()
with open("tree.xml","r") as f:
    tree = etree.parse(f)
    toc = time.time()
    print(f"etree parser Time: {toc - tic} Sec")

tic = time.time()
with open("tree.xml","r") as f:
    tree = BeautifulSoup(f, features="xml")
    toc = time.time()
    print(f"soup parser Time: {toc - tic} Sec")

etree parser Time: 0.4 Sec
soup parser Time: 8.9 Sec

• 必须改用lxml的etree重写代码：从测试数据看，etree解析速度是BeautifulSoup的20倍以上，在树莓派这类性能有限的设备上，这种差异是决定性的。BeautifulSoup在lxml之上做了封装，额外的DOM构建和兼容性处理会带来大量性能开销，对于大XML文件完全没必要。

• 额外优化建议：

  • 用二进制模式读取文件：打开文件时用"rb"模式，避免Python层面的字符编码转换，让lxml自行处理编码（lxml的编码检测效率很高），代码改为with open("tree.xml","rb") as f:。
  • 用XPath直接检索目标内容：etree支持原生XPath查询，比遍历DOM节点效率高得多。比如查找所有<item>节点，直接用tree.xpath("//item")，避免循环遍历。
  • 禁用DTD验证：如果XML不需要DTD验证，解析时关闭该功能进一步提速：

    parser = etree.XMLParser(no_network=True, dtd_validation=False)
    tree = etree.parse(f, parser=parser)
    

  • 增量解析（适配更大文件）：如果后续遇到超大XML，可使用lxml的iterparse接口，无需一次性加载整个文件到内存，适配树莓派有限内存：

    for event, elem in etree.iterparse("tree.xml", events=("end",), tag="item"):
        # 处理当前elem节点
        elem.clear()  # 释放内存
    

内容的提问来源于stack exchange，提问作者amir hossein