遍历约40万XML文件时Python处理速度骤降的原因与优化方案

不存在未被清理的隐藏对象，内存占用平稳已经说明垃圾回收机制在正常工作，前1.5万次迭代快、后续速度显著下降的核心原因是两部分开销叠加：

• 全量DOM解析的无效开销过高：当前代码用ElementTree.parse()加载文件时，会把XML所有层级的节点、文本、属性全部解析构建成完整的Element对象树，哪怕你只需要一级子节点的标签名。前1.5万次迭代时，解析生成的大量临时Element对象都在Python分代GC的年轻代，扫描范围小、回收速度快；随着迭代次数增加，部分熬过多次GC的临时对象会被晋升到老年代，后续每次GC触发时需要扫描的老年代对象范围越来越大，单轮GC耗时逐步升高。由于这些临时对象最终都能被正常回收，内存占用会始终保持平稳，GC开销穿插在解析流程中，也不会表现为CPU持续满负载，和你观测到的现象完全吻合。
• 字典判断逻辑存在冗余：代码中多次调用dict.keys()做成员校验，还对同一个标签重复做了3次以上的key存在性判断，带来了不必要的哈希查找开销。

不需要换正则实现，针对问题点调整即可获得3~10倍的性能提升，且代码可靠性、可维护性都优于正则方案，不会因为XML特殊语法出现匹配错误：

• 替换全量解析为增量解析，从根源消除无效DOM构建开销
  用ElementTree.iterparse()做流式增量解析，不需要构建完整DOM树：通过事件监听记录一级子节点标签，每解析完一个元素就立即清空其引用的子节点和文本内容，保证内存中仅留存当前解析路径上的节点，彻底避免大量临时对象生成和老年代GC开销。优化后的解析函数如下：

  import gc
  import os
  import datetime
  import xml.etree.ElementTree as ElementTree
  
  # 保留原有标签字典初始化、文件路径收集逻辑，仅替换解析函数
  def read_via_etree_fast(file):
      # 监听元素开始、结束事件，流式解析
      context = ElementTree.iterparse(file, events=("start", "end"))
      _, root = next(context)  # 先获取根节点
      depth = 0
      main_tags = set()
      for event, elem in context:
          if event == "start":
              depth += 1
              # 深度为1时就是根节点的直接子节点（一级标签）
              if depth == 1:
                  main_tags.add(elem.tag)
          else:
              depth -= 1
              # 解析完非根节点立即清空内容，释放所有子节点引用
              if elem is not root:
                  elem.clear()
      root.clear()  # 最后清空根节点引用
  
      # 优化计数逻辑，合并冗余判断
      for tag in main_tags:
          if tag in required_tags:
              required_tags[tag] += 1
          elif tag in optional_tags:
              optional_tags[tag] += 1
          else:
              new_tags[tag] = new_tags.get(tag, 0) + 1
  

• 优化字典操作
  去掉所有冗余的.keys()调用，Python中key in dict本身就是O(1)的哈希查找，效率高于先生成keys视图再判断；合并重复的key存在性校验，用dict.get(key, default)做计数累加，减少不必要的哈希查找次数。
• 主动批量触发GC降低分代回收开销
  由于是纯批量处理场景，没有大量长生命周期对象，可以在每处理完固定批次（比如1000个文件）后手动调用gc.collect()批量回收临时对象，避免零散GC打断处理流程，也能减少临时对象意外晋升老年代的概率：

  for idx, xml in enumerate(xml_files):
      if idx % 1000 == 0:
          print(f"Analyzed {idx} files")
          gc.collect()  # 批量回收上一批次的临时对象
      read_via_etree_fast(xml)
  

• 可选优化：不需要提前收集所有XML文件路径，可以边遍历目录边处理，省去启动时全量扫描路径的等待时间，不过该部分收益远低于解析逻辑的优化。

内容的提问来源于stack exchange，提问作者mnikley