如何用Python的xml.sax解析嵌套XML？大文件内存受限

核心结论 #

xml.sax完全支持嵌套XML解析，而且它的事件驱动流式解析特性刚好解决你遇到的大文件内存不足问题——它不会把整个XML加载到内存，只会在解析过程中触发对应事件，逐段处理数据。

实现方案 #

我们需要自定义一个ContentHandler子类，跟踪当前标签的嵌套路径，收集每个标签的文本内容，最终将数据整理成「标签路径-文本」的键值对（或表格结构）。

完整代码示例 #

import xml.sax
from typing import List, Dict

class NestedXMLHandler(xml.sax.ContentHandler):
    def __init__(self):
        self.current_path: List[str] = []  # 跟踪当前嵌套标签路径
        self.current_text: str = ""        # 收集当前标签的文本
        self.data: List[Dict[str, str]] = []  # 存储最终结果

    def startElement(self, name: str, attrs):
        # 进入新标签时，将标签名加入路径，重置当前文本
        self.current_path.append(name)
        self.current_text = ""

    def characters(self, content: str):
        # 收集文本，忽略多余空白
        self.current_text += content.strip()

    def endElement(self, name: str):
        # 标签结束时，保存路径和文本（仅当有有效文本时）
        if self.current_text:
            full_path = "/".join(self.current_path)
            self.data.append({"tag_path": full_path, "text": self.current_text})
        # 从路径中移除当前标签，回到上层
        self.current_path.pop()

# 解析XML文件（替换为你的100GB文件路径）
handler = NestedXMLHandler()
parser = xml.sax.make_parser()
parser.setContentHandler(handler)
# 大文件直接用parse方法即可，无需加载到内存
parser.parse("large_catalog.xml")

# 示例：将结果转为表格（数据量极大时建议分批写入CSV，避免内存溢出）
import pandas as pd
df = pd.DataFrame(handler.data)
print(df.head())
# 写入CSV（大文件推荐用chunksize分批写入）
# df.to_csv("xml_extracted_data.csv", index=False)

代码说明 #

1. 路径跟踪：current_path列表记录当前解析到的嵌套标签层级，比如解析<header>时，路径是["catalog", "book", "title", "header"]，拼接后为catalog/book/title/header。
2. 文本收集：characters方法会多次触发（比如标签内的换行、空格会拆分触发），所以需要累加文本后再去除多余空白。
3. 结果存储：data列表存储每个有文本的标签的完整路径和对应文本，后续可以直接转为DataFrame或写入数据库/CSV。

针对示例XML的输出效果 #

解析你提供的示例XML后，handler.data会包含以下条目（部分）：

[
    {"tag_path": "catalog/book/author", "text": "Gambardella, Matthew"},
    {"tag_path": "catalog/book/title/header", "text": "Hello Sweetie"},
    {"tag_path": "catalog/book/title/subheader", "text": "Why you like this?"},
    {"tag_path": "catalog/book/price/euro", "text": "9.99"},
    {"tag_path": "catalog/book/price/krone/sek", "text": "70"},
    ...
]

大文件优化建议 #

• 如果100GB文件解析后的数据量仍然很大，不要一次性存入self.data，可以在endElement中直接分批写入CSV（比如每处理1000条就写入一次，然后清空临时存储）。
• 避免在解析过程中做复杂计算，保持事件处理逻辑简洁，提升解析速度。

内容的提问来源于stack exchange，提问作者ozturkdk