图像读取与处理函数性能优化咨询

1. 并行处理图像加载与转换 #

你的代码目前是串行遍历每个图像路径处理，完全没用到多核CPU的优势。用进程池并行处理能大幅缩短时间，推荐用concurrent.futures.ProcessPoolExecutor：

from concurrent.futures import ProcessPoolExecutor

def process_images_optimized(self, image_paths, labels):
    # max_workers设为None会自动匹配CPU核心数
    with ProcessPoolExecutor(max_workers=None) as executor:
        images = list(executor.map(self.load_and_resize_image, image_paths))
    return images, np.array(labels)

2. 替换PIL为OpenCV加速底层操作 #

OpenCV基于C++实现，图像加载和缩放的速度远快于PIL。注意转换颜色通道（OpenCV默认BGR，PIL是RGB）：

import cv2

def load_and_resize_image(self, img_path):
    # 直接加载图像
    img = cv2.imread(img_path)
    # 转换为RGB格式
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    # 用更快的插值方法（INTER_NEAREST），对精度要求高的话可以用INTER_LINEAR
    img = cv2.resize(img, (self.image_size[1], self.image_size[0]), interpolation=cv2.INTER_NEAREST)
    # 归一化时指定float32，减少内存占用和计算耗时
    img_array = img.astype(np.float32) / 255.0
    return img_array

3. 优化单图像处理的细节（保留PIL的情况） #

如果坚持用PIL，调整以下两点也能提速：

• 选择更快的插值方法：resize时指定Image.NEAREST（比默认的BILINEAR快很多）
• 提前指定数组 dtype：np.array(img, dtype=np.float32) 避免默认float64的额外开销

def load_and_resize_image(self, img_path):
    with Image.open(img_path) as img:
        # 用最快的插值方式缩放
        img = img.resize((self.image_size[1], self.image_size[0]), Image.NEAREST)
        # 指定float32类型，减少内存和计算量
        img_array = np.array(img, dtype=np.float32) / 255.0
    return img_array

4. 批量归一化减少循环开销 #

把每个图像单独归一化的操作改成批量处理，能减少Python循环的额外开销：

def process_images_optimized(self, image_paths, labels):
    img_list = []
    for img_path in image_paths:
        with Image.open(img_path) as img:
            img = img.resize((self.image_size[1], self.image_size[0]), Image.NEAREST)
            img_list.append(img)
    # 批量转换为数组并归一化
    images_array = np.array(img_list, dtype=np.float32) / 255.0
    return images_array, np.array(labels)

额外建议 #

• 如果存储设备是HDD，换成SSD能大幅降低IO等待时间（图像加载的瓶颈很多时候是磁盘读写）
• 提前过滤无效图像路径，避免加载不存在的文件浪费时间

内容的提问来源于stack exchange，提问作者Gnomioo