Python多进程使用cryptography库加密海量照片性能不升反降排查
问题根因拆解
你观测到的性能倒挂和样本量没有关系,核心是两个方向性的判断错误:
- 把纯IO密集的流程,错按CPU密集的模型做了多进程优化
- 固定切片的任务分发方式,直接破坏了磁盘的最优读写效率
先从运行指标定位真实瓶颈
看time命令的输出就能直接定位问题:
- 并行版本总耗时511秒,4个进程累计的用户态CPU时间才39.5秒,平均每个进程只消耗了不到10秒的CPU运算时间,剩下500多秒全部在等待磁盘读写
- 单进程版本总耗时272秒,累计用户态CPU时间24秒,算下来整体CPU利用率连5%都不到
也就是说,整个加密流程里,AES算法的计算耗时占比连1%都不到,99%的时间都在做文件读写,根本不存在“被GIL卡了CPU性能”的问题,GIL在这个场景里完全不是瓶颈。
多进程反而比单进程慢的具体原因
1. 磁盘读写性能被随机寻道拖垮
13万张照片总大小1.2GB,单张平均大小仅9KB,本来单进程按文件列表顺序读写的时候,操作系统可以通过预读机制、磁盘可以通过顺序寻道把吞吐拉满。
但你把文件列表平均切成4份分给4个进程之后,4个进程会同时在同一个磁盘的不同物理位置交叉读、交叉写,直接把顺序IO变成了大规模随机IO:
- 如果是机械硬盘,随机IO的寻道开销会让吞吐掉70%以上
- 就算是SSD,4个进程并发争抢块设备队列的调度优先级,也会导致队列效率下降
你看到的8分钟耗时里,有一半以上都是浪费在不必要的磁盘寻道上。
2. 不必要的多进程额外开销
- 每个Python进程启动时都要重复加载cryptography库、初始化加密后端、导入系统模块,4个进程就要重复初始化4次,单进程只需要初始化1次
- 你采用的是固定切片的任务分配模式,没有任何动态负载均衡的能力:如果某一个进程分到的文件刚好落在磁盘坏道、或者缓存命中效率低,剩下3个进程全部干完自己的分片之后,只能空等最后一个慢进程跑完,没有办法提前帮它分担任务。
3. 读写逻辑的额外损耗
你的加密逻辑是读完整文件到内存、计算完密文之后直接覆盖原文件写入,这个操作会直接污染操作系统的页缓存:本来OS把读进来的照片内容缓存在内存里帮你加速,写操作一来直接把缓存块标记为脏块需要刷盘,白白浪费了缓存的加速作用。
针对该场景的优化方向
- 先放弃“用多进程绕开GIL提升加密速度”的思路:CPU计算占比不到1%的场景下,用多线程就足够覆盖IO等待的开销,还能省掉多进程启动、进程间通信的额外损耗。因为等待磁盘IO的时候Python会自动释放GIL,多线程的并发读写效率不比多进程差,甚至更高。
- 不要采用固定切片的任务分发方式,改用动态任务队列:固定大小的工作线程池,每次谁干完手头上的文件,就从队列拿下一个新文件,保证负载均衡,避免慢任务拖垮整体进度。
- 并发数不要开太高:针对海量小文件的单磁盘场景,HDD的并发IO数控制在3-4个就到吞吐峰值了,SSD最多开到8-16个,开再多只会增加调度开销。
- 优化写入逻辑:加密完成的内容不要直接覆盖原文件,先写到同目录下的临时文件,写完之后用系统
rename操作原子替换原文件,减少随机写的开销,同时避免污染页缓存。 - 对小文件做批量聚合:如果后续要处理百万级照片,可以把同目录下的若干小文件打包成一个固定大小的块(比如4MB),再对整个块做加密读写,把大量的小随机IO合并成大块顺序IO,吞吐能提升一个量级。
内容的提问来源于stack exchange,提问作者Daniel Matei
相关产品推荐
相关产品推荐

