Python批量处理图片保存效率低，如何优化代码提升速度？

嘿，咱们来解决你遇到的这个图片批量处理性能问题～先拆解下你的核心痛点：单线程跑满CPU导致没法利用多核优势，再加上频繁的单张图片磁盘写入，双重拖慢了处理速度。下面给你几个实用的优化方案：

先搞懂问题根源 #

• CPU瓶颈：PIL的图片处理是单线程的，你的CPU使用率拉到80%，说明单个核心已经被跑满了，没法用上CPU的多核能力
• IO瓶颈：每张图片处理完就立刻写入磁盘，磁盘的读写速度远低于内存，大量的单次小IO操作会累积成明显的性能瓶颈

最有效的优化：多进程并行处理 #

因为Python的GIL（全局解释器锁）限制，单线程没法利用多核CPU，所以用multiprocessing模块把任务拆分给多个进程，充分榨干CPU的性能。这是解决你CPU占满且处理慢的核心方案：

from PIL import Image
from resizeimage import resizeimage
import multiprocessing

def process_single_image(img_num):
    # 替换成你的图片路径规则和处理逻辑
    input_path = f"your_input_folder/{img_num}.jpg"
    output_path = f"your_output_folder/{img_num}_processed.jpg"
    
    with Image.open(input_path) as img:
        # 示例：按尺寸裁剪调整，换成你实际的处理操作
        processed_img = resizeimage.resize_cover(img, (256, 256))
        processed_img.save(output_path)

if __name__ == "__main__":
    total_samples = 10000
    # 进程数建议设为CPU核心数（或核心数-1，避免占满系统资源）
    core_count = multiprocessing.cpu_count()
    with multiprocessing.Pool(processes=core_count) as pool:
        # 把所有图片编号分给进程池并行处理
        pool.map(process_single_image, range(total_samples))

磁盘IO优化：别盲目全存内存 #

你提到的「先存内存再一次性写入」其实不太适合10000张图的场景——如果每张图片是10MB，10000张就是100GB，内存根本装不下，反而会导致系统卡顿甚至崩溃。不过可以通过这些方式优化IO：

• 换成SSD存储：SSD的随机读写速度比HDD快几十倍，对频繁小IO的场景提升非常明显
• 让每个进程连续处理同目录下的图片：减少磁盘寻道时间，提升读写效率
• 选用更高效的图片格式：比如WebP格式，写入速度和压缩率都比JPG更优（如果你的业务场景支持）

额外的小优化点 #

• 调整插值方法：如果对图片画质要求不高，resize时用Image.BILINEAR或Image.NEAREST代替默认的Image.LANCZOS，处理速度会快很多
• 提前创建输出目录：避免每次保存图片时动态创建目录的额外开销
• 减少不必要的内存占用：比如处理灰度图时，先转成单通道再处理，能减少内存使用和处理时间

关于「全存内存再批量写入」的尝试（仅适合小批量） #

如果是处理几百张小尺寸图片，这个方案可以试试，但10000张图绝对不推荐。示例代码如下：

from PIL import Image
from resizeimage import resizeimage

processed_images = {}
total_samples = 500  # 仅适合小批量

for imgnm in range(total_samples):
    input_path = f"input/{imgnm}.jpg"
    with Image.open(input_path) as img:
        processed_img = resizeimage.resize_cover(img, (256, 256))
        processed_images[imgnm] = processed_img.copy()  # 必须copy，否则with块结束后图片对象会被释放

# 一次性批量写入
for imgnm, img in processed_images.items():
    img.save(f"output/{imgnm}_processed.jpg")

内容的提问来源于stack exchange，提问作者Hari Prasad