Python 3.7下百万张照片AES并行加密I/O慢、并行无提速优化

现有代码的核心性能瓶颈 #

• 文件分片逻辑存在边界缺陷：当文件总数无法被进程数N整除时，最后一个分片会遗漏列表尾部的文件，导致任务覆盖不全
• 手动指定的6000字节文件缓冲区远小于系统默认IO缓冲区（通常为128KB-4MB），反而增加了内核态与用户态之间的拷贝次数
• 采用原路径覆盖写的策略，没有做读写流分离，单张照片的读写操作会反复抢占磁盘寻道时间，是之前多线程/多进程性能甚至不如单进程同步执行的核心原因
• 每个进程都会在内存中独立加载完整的文件列表，百万级文件场景下会产生不必要的内存开销
• 静态预分片的任务分配策略无法根据磁盘IO负载动态调整，容易出现部分进程空等、部分进程任务堆积的负载不均问题
• CBC模式每次加密都需要随机生成16字节IV、做PKCS7填充，在高并发写场景下会产生额外的系统调用与计算开销

可直接落地的优化方向 #

I/O性能提升 #

• 删除手动指定的文件缓冲区参数：移除open()调用中传入的6000参数，让内核自动匹配最优缓冲区大小，通常可提升20%-30%的连续读写速度
• 分离读写路径：不要在原照片存储路径上直接覆盖写，将加密后的文件输出到独立的目标目录；条件允许时可将源目录、目标目录分别部署在不同物理磁盘或磁盘分区上，避免同一块磁盘的读写操作交替抢占磁道寻道时间
• 调整存储分区挂载参数：针对照片存储的分区开启noatime配置，关闭文件访问时间的自动更新，减少每次读文件时的额外元数据写入开销
• 降低小文件操作占比：百万级单张JPEG通常体积仅几百KB，频繁的小文件读写会产生大量磁盘元数据操作，可将多张照片打包成归档文件后再执行加密，大幅减少文件系统的交互次数

并行逻辑优化 #

• 替换手动创建进程的逻辑，使用ProcessPoolExecutor做动态任务分发：不要预先对文件列表做静态分片，改为由进程池动态从任务队列中获取文件执行加密，实现负载均衡。针对IO密集型任务，进程数设置为磁盘队列长度的1.5-2倍即可，无需开启过多进程抢占CPU资源
• 分离加密计算与磁盘写入逻辑：用少量线程承接磁盘读写操作，用与CPU核心数等量的进程执行AES加密计算，避免加密计算过程阻塞磁盘IO队列
• 替换加密模式：从CBC+PKCS7填充的组合，换成CTR/GCM这类无需填充的流加密模式，减少额外的填充计算与数据长度膨胀开销，同时可将IV生成操作纳入写盘流程做批处理，降低系统调用频率

代码细节修正 #

• 修正分片逻辑的边界问题：计算每个进程的任务边界时，补充最后一个分片的收尾处理逻辑，避免遗漏文件
• 移除冗余的手动close()调用：with上下文管理器会自动处理文件资源的释放流程，无需手动调用writer.close()
• 采用生成器迭代遍历文件列表：不要一次性将百万级文件路径全部加载到内存列表中，改为按需生成遍历路径，降低内存占用

内容的提问来源于stack exchange，提问作者Daniel Matei