如何用Python解析16GB XML文件？解决解析时的内存错误问题

你当前用ET.parse()的方式会把整个16GB XML文件一次性加载到内存里，直接触发内存溢出。解决这个问题的核心思路是迭代式解析——边读文件边处理节点，不把整个文件存进内存。

具体实现方案 #

用xml.etree.ElementTree.iterparse()方法，它会逐节点解析XML，每处理完一个节点就可以立即释放对应的内存。以下是适配你需求的示例代码：

import xml.etree.ElementTree as ET
import pandas as pd
import datetime

def parse_large_xml(file_path):
    newsitems = []
    # 只监听节点解析完成的事件，避免重复处理
    for event, elem in ET.iterparse(file_path, events=('end',)):
        # 替换成你实际需要提取的目标节点标签
        if elem.tag == 'newsitem':
            # 这里根据你的XML结构编写数据提取逻辑
            item_data = {
                'id': elem.findtext('id'),
                'title': elem.findtext('title'),
                'publish_time': elem.findtext('publish_time')
                # 按需添加其他字段
            }
            newsitems.append(item_data)
            
            # 清理当前节点的内存引用，触发垃圾回收
            elem.clear()
            # 移除父节点对当前节点的引用，彻底释放内存
            while elem.getprevious() is not None:
                del elem.getparent()[0]
        
        # 每积累10000条数据就写入CSV，避免列表占用过多内存
        if len(newsitems) >= 10000:
            pd.DataFrame(newsitems).to_csv('news_output.csv', mode='a', header=False, index=False)
            newsitems = []
    
    # 处理最后一批剩余数据
    if newsitems:
        pd.DataFrame(newsitems).to_csv('news_output.csv', mode='a', header=False, index=False)

if __name__ == '__main__':
    parse_large_xml('M.xml')

关键注意点 #

• 一定要替换elem.tag == 'newsitem'中的节点名为你XML里实际要处理的节点标签
• elem.clear()和删除父节点引用是避免内存泄漏的核心操作，必须加上
• 分批写入CSV而不是把所有数据存在newsitems列表里，进一步降低内存占用
• 不需要的库（比如numpy）可以直接删掉，减少不必要的内存开销

内容的提问来源于stack exchange，提问作者Ahmed Ali