如何使用Python将5GB以上大型XML文件序列化为Avro并存入Hadoop

你当前使用xml.minidom的方案属于DOM类XML解析方式，需要将整个XML文件全量加载到内存构建DOM树，15GB大小的XML加载到内存后实际占用会达到原文件的3~10倍，几乎一定会触发内存不足的问题，不适合大文件处理场景。

核心处理思路：全链路流式处理 #

所有环节避免全量数据加载到内存，边读取边解析边写入，内存占用仅和单条/批量记录大小相关，和源文件总大小无关。

• 第一步：替换为流式XML解析 #

  使用Python内置的xml.etree.ElementTree.iterparse接口（也可选用性能更高的第三方lxml库同功能接口），逐节点解析XML，仅保留当前需要处理的目标节点在内存中，处理后立即释放：

  import xml.etree.ElementTree as ET
  
  # 替换为实际要提取的记录级节点标签，比如单条数据的根节点是<Record>
  TARGET_TAG = "Record"
  for event, elem in ET.iterparse("your_large_file.xml", events=("end",)):
      if elem.tag == TARGET_TAG:
          # 此处写节点转Avro schema对应字典的业务逻辑
          record = parse_elem_to_record(elem)
          # 写入Avro流
          avro_writer.write(record)
          # 关键：处理完立即清理当前节点释放内存
          elem.clear()
          # 额外清理父节点引用避免内存残留
          while elem.getprevious() is not None:
              del elem.getparent()[0]
  

• 第二步：使用流式Avro写入 #

  优先选用性能更高的第三方fastavro库替代官方Avro库，支持流式逐条/批量写入，不需要攒全量数据再输出，完全兼容Python 3.6版本：

  from fastavro import writer, parse_schema
  
  # 提前定义匹配业务字段的Avro schema
  schema = parse_schema({
      "type": "record",
      "name": "YourRecord",
      "fields": [
          # 按业务需求定义字段规则
      ]
  })
  
  # 可对接本地文件流或HDFS文件流
  with open("output.avro", "wb") as f:
      avro_writer = writer(f, schema)
      # XML解析环节得到的记录直接调用avro_writer.write(record)写入即可
  

• 第三步：直接对接HDFS存储 #

  不需要先生成本地Avro文件再上传，使用pyarrow的HDFS接口直接创建HDFS文件流，写入内容直接落盘到Hadoop，节省本地磁盘IO开销：

  from pyarrow import hdfs
  
  fs = hdfs.HadoopFileSystem(host="你的HDFS namenode地址", port=9000)
  with fs.open("/Hadoop存储路径/output.avro", "wb") as f:
      avro_writer = writer(f, schema)
      # 解析得到的记录直接写入该writer即可
  

可选优化项 #

• 可设置批量写入阈值，比如每解析1000~10000条记录再批量调用写入接口，平衡内存占用和IO效率
• 如果单进程解析速度无法满足要求，可先按记录级标签拆分大XML为多个小分片，多进程并行处理各分片，最终输出多个Avro文件存储到Hadoop即可，无需合并
• 对于嵌套层级极深的XML，可提前编写节点过滤规则，只解析需要的字段，进一步降低内存占用和处理耗时

内容的提问来源于stack exchange，提问作者scaleX