Python大文件处理性能问题排查：提取150万条记录并分组

你的Python程序运行效率远低于awk，大概率是在文件IO、数据结构选择、字符串处理这几个核心环节存在性能瓶颈，以下是具体问题排查和优化方向：

一、.clstr文件解析阶段的常见低效点 #

• 内存与数据结构冗余：如果clstr_parse用普通字典存储所有分组，且每个分组用列表保存UUID，当分组数量大时会占用过多内存。如果只需要判断UUID是否属于目标分组，先把所有待提取的UUID存入set（查找效率O(1)且内存占用更低），再单独维护分组映射关系；若分组只需要记录归属，可将UUID映射为整数ID（比如用enumerate给每个分组分配ID），减少字符串存储开销。
• 文件读取方式不当：一次性读取200MB文件到内存（如file.read()）会瞬间占用大量内存，建议用迭代式逐行读取：for line in open('file.clstr', 'r')，Python会自动缓存行内容，内存占用更平稳。
• 字符串解析冗余：如果用复杂正则匹配UUID，可替换为字符串分割或切片操作（比如按固定分隔符拆分）；避免在循环内重复执行字符串格式化、拷贝操作，尽量复用变量。

二、SAM文件处理的核心瓶颈 #

• 原生IO效率不足：Python默认文本模式读取大文件（30GB）的速度远低于awk的底层IO实现。建议：
  • 用二进制模式读取（open('file.sam', 'rb')），手动处理换行符，减少文本模式的编码转换开销；
  • 直接使用sys.stdin读取（若通过管道传输入），避免文件打开的额外开销；
  • 改用C扩展实现的SAM处理库（如pysam），其解析速度接近原生C程序，远快于纯Python代码。
• UUID查找与分组逻辑低效：如果每次解析SAM记录都先查分组字典，可先判断UUID是否在预存的set中（过滤掉不需要的记录），再执行分组映射；避免在循环内频繁修改字典结构，提前初始化好所有分组的输出容器（如预打开所有分组的输出文件句柄）。
• 输出IO频繁调用：若每次找到记录就逐行写入文件，会触发大量系统IO调用。建议：
  • 为每个分组设置内存缓冲（比如用io.StringIO暂存多条记录），达到一定数量后再批量写入磁盘；
  • 避免在循环内打开/关闭文件，提前一次性打开所有需要的输出文件，用完统一关闭。

三、其他优化细节 #

• 避免GC频繁触发：循环内频繁创建小对象（如每次解析SAM行都新建字典）会导致Python垃圾回收频繁运行。改用元组存储字段，或复用全局对象，减少对象创建次数。
• 放弃多线程改用多进程：Python线程受GIL限制，CPU密集型任务无法并行。若要并行处理SAM文件，用multiprocessing拆分文件块（比如按文件大小分割成多个部分，每个进程处理一块），但要注意避免分组输出的冲突。
• 预编译正则表达式：如果必须用正则解析SAM的字段，提前用re.compile()编译正则表达式，不要在循环内重复编译。

内容的提问来源于stack exchange，提问作者Fravadona