GPU编程新手求教：如何用Python实现GPU加速的图像读写？

一、解决cupyimg模块找不到的问题 #

cupyimg是旧版CuPy的拆分模块，目前已整合到CuPy主包的cupyx子模块下，无需单独安装。先确保你安装了适配CUDA版本的最新CuPy：

pip install --upgrade cupy-cuda12x  # 替换为你的CUDA版本，如cuda11x、cuda10x

之后直接使用cupyx.scipy.ndimage或cupyx.scipy.misc即可调用图像相关功能。

二、高效处理70万+图像的核心思路 #

避免单张图像的CPU-GPU频繁拷贝，尽量批量读写+GPU端直接操作，以下是具体实现：

1. 批量读取图像到GPU #

先在CPU端批量加载图像，再一次性转存到GPU，减少数据传输开销：

import cupy as cp
from PIL import Image
import os

image_dir = "你的图像存放目录"
# 筛选所有图像文件
image_paths = [os.path.join(image_dir, f) for f in os.listdir(image_dir) 
               if f.lower().endswith(('.png', '.jpg', '.jpeg'))]

# 分批次处理（避免CPU内存溢出）
batch_size = 1000
for start in range(0, len(image_paths), batch_size):
    end = min(start + batch_size, len(image_paths))
    batch_paths = image_paths[start:end]
    
    # CPU端批量读入图像
    cpu_imgs = []
    for path in batch_paths:
        img = Image.open(path).convert('RGB')
        cpu_imgs.append(cp.asarray(img))
    
    # 合并为GPU端批量数组
    gpu_batch = cp.stack(cpu_imgs, axis=0)
    
    # 这里添加你的GPU处理逻辑
    # ...

2. GPU端直接保存图像 #

使用cupyx.scipy.misc.imsave直接从CuPy数组保存图像，无需转回CPU：

from cupyx.scipy.misc import imsave

# 确保图像数据为uint8格式（符合图像存储要求）
gpu_img = cp.clip(gpu_batch[0], 0, 255).astype(cp.uint8)
imsave("output_single.png", gpu_img)

# 批量保存示例
for idx in range(gpu_batch.shape[0]):
    save_path = f"output_{start+idx}.png"
    img = cp.clip(gpu_batch[idx], 0, 255).astype(cp.uint8)
    imsave(save_path, img)

3. 超高效批量存储方案（推荐） #

单张存储70万张图像效率极低，建议将图像打包为批量二进制格式（如HDF5、NPZ），读写速度提升数倍：

用CuPy的NPZ格式批量存储

# 保存批量GPU数组
cp.savez("batch_001.npz", images=gpu_batch)

# 读取回GPU数组
loaded_data = cp.load("batch_001.npz")
gpu_batch = loaded_data["images"]

用HDF5存储（适合超大规模数据）

import h5py

# 保存到HDF5文件
with h5py.File("large_dataset.h5", "w") as f:
    # 先将GPU数组转CPU（h5py暂不直接支持CuPy数组，批量转换开销远低于单张）
    f.create_dataset("images", data=gpu_batch.get(), compression="gzip")

# 读取到GPU数组
with h5py.File("large_dataset.h5", "r") as f:
    gpu_batch = cp.array(f["images"])

三、额外加速技巧 #

• 异步数据传输：用CuPy的CUDA流实现数据传输与计算重叠，减少等待时间：

  stream = cp.cuda.Stream()
  with stream:
      gpu_batch = cp.asarray(cpu_imgs)
  # 同时可以并行执行其他CPU任务
  

• 使用GPU原生预处理函数：图像缩放、裁剪等操作优先用cupyx.scipy.ndimage中的函数，避免自定义循环。
• 匹配CUDA版本：确保CuPy版本与系统CUDA版本一致，否则会导致性能损耗或运行错误。

内容的提问来源于stack exchange，提问作者safrose