如何优化Python处理GB级XML转Pandas导出CSV场景下的for循环执行效率

1 优先优化XML读取性能（占总耗时69%，优先级最高） #

当前的性能瓶颈核心在XML解析环节，而非Pandas迭代逻辑：

• 替换默认XML解析器：wos_parser默认的xml.etree解析速度较慢，可切换为lxml解析器，速度可提升2~3倍。如果wos_parser不支持自定义解析器，可直接参考其逻辑用lxml.etree.iterparse重写读取逻辑，采用流式迭代解析不需要把整个XML文件加载到内存，特别适配你数GB级的大文件场景，同时避免内存溢出。
• 按需解析节点：不需要解析XML的全部节点，只提取和参考文献相关的目标节点，跳过无关字段，还能再节省30%以上的解析时间。

2 修复Pandas迭代逻辑的性能问题 #

你当前使用的DataFrame.append方法已经被官方弃用，效率极低的原因是每次append都会生成整个DataFrame的全量拷贝，数据量越大耗时越高：

• 小内存场景：采用增量写入CSV的方式，处理完单个XML文件得到的DataFrame直接追加写入CSV，不需要在内存中累积所有数据，内存仅需容纳单个文件的处理结果，可支撑任意大小的总数据量。
• 大内存场景：把每个文件处理得到的DataFrame先存入普通Python列表，所有文件处理完成后一次性pd.concat整个列表，比循环append快1~2个数量级。

3 关于apply/lambda的适配说明 #

这个场景不适合硬套Pandas的apply方法，apply是作用在Pandas的DataFrame/Series数据结构上的迭代方法，你当前的迭代对象是文件列表，属于Python原生的迭代场景，强行用apply反而会降低可读性且没有性能收益。

4 并行处理进一步提速 #

单个XML文件的处理逻辑完全独立，适合用多进程利用多核CPU性能，可获得接近CPU核心数倍数的提速：

• 不要用多线程：XML解析属于CPU密集型任务，Python GIL会导致多线程无法利用多核，要使用多进程实现并行。

优化后代码示例 #

import os
import pandas as pd
from concurrent.futures import ProcessPoolExecutor
import wos_parser as wp

directory = './'
year_batch = "2016_123"
output_path = f'{year_batch}_references.csv'

# 单个XML文件处理逻辑，独立封装方便多进程调用
def process_single_xml(filename):
    if not filename.endswith('.xml'):
        return None
    records = wp.read_xml(filename)
    references = [wp.extract_references(record) for record in records]
    return pd.concat(map(pd.DataFrame, references), sort=True)

def references():
    xml_files = [os.fsdecode(f) for f in os.listdir(directory) if f.endswith('.xml')]
    first_write = True

    # max_workers可设置为你的CPU物理核心数，不要超过核心数
    with ProcessPoolExecutor(max_workers=4) as executor:
        for df in executor.map(process_single_xml, xml_files):
            if df is None:
                continue
            # 增量写入CSV，内存仅保留当前文件数据
            df.to_csv(output_path, mode='a', header=first_write, index=False)
            first_write = False
            del df

if __name__ == "__main__":
    references()

内容的提问来源于stack exchange，提问作者pocketprotector