Python中OpenCV多线程与多进程加速图像Upscale问题求助

我有一个图像处理函数（实际功能是读取图像、执行upscale处理、写入指定文件夹并返回处理后的图像数组），当前代码框架如下：

def resize(path_to_image):
    img = cv2.imread(path_to_image)
    return img

现有PNG图像路径列表：

file_list = ['page.png',...etc]

单张图像处理耗时95秒，需处理数百张。尝试多线程未实现提速，代码如下：

import tqdm
from concurrent.futures import ThreadPoolExecutor, as_completed
res=[]

with ThreadPoolExecutor(max_workers=10) as executor:
    future_to_response = {
        executor.submit(Upscale, f'C:\\Users\\user\\Desktop\\DPI_proj\\images\\{i}'): i for i in file_list
    }
    t = tqdm.tqdm(total=len(future_to_response))

    for future in as_completed(future_to_response):
        res.append(future.result())

for i in range(len(res)):
    cv2.imwrite(f'{i}.png',res[i])

多线程耗时与串行处理一致。转而尝试多进程，代码如下，但进程均以退出码1终止，且res数组存储的是进程对象而非图像数组，同样未提速：

import multiprocessing
res = []
for i in file_list:
    p = multiprocessing.Process(target=Upscale((f'C:\\Users\\user\\Desktop\\DPI_proj\\images\\{i}')))
    res.append(p)
    p.start()

请问如何通过多线程或多进程实现图像处理提速？

一、多线程无效的核心原因 #

图像处理属于CPU密集型任务，Python的GIL（全局解释器锁）会限制多线程在CPU密集型场景下的并行能力——同一时间只能有一个线程执行Python字节码，多线程本质是串行执行，无法利用多核CPU，因此不会提速，甚至可能因线程切换开销变慢。不推荐用多线程处理这类任务。

二、多进程方案修正 #

你的多进程代码存在两处致命错误，修正后即可实现并行提速：

1. 目标函数调用错误：target=Upscale((f'...'))是直接执行了Upscale函数，将返回值传给了target，而非把函数本身作为进程执行目标。正确写法是传入函数对象+参数元组。
2. 无法直接获取返回值：multiprocessing.Process无法直接返回结果，需用concurrent.futures.ProcessPoolExecutor（更易用）或multiprocessing.Queue来传递处理后的图像数据。

修正后的多进程代码（ProcessPoolExecutor版本） #

import tqdm
import multiprocessing
from concurrent.futures import ProcessPoolExecutor, as_completed
import cv2

def Upscale(path_to_image):
    # 补全你的upscale处理逻辑
    img = cv2.imread(path_to_image)
    # 示例upscale操作：放大2倍
    upscaled_img = cv2.resize(img, None, fx=2, fy=2, interpolation=cv2.INTER_CUBIC)
    # 若需写入指定文件夹，可在此完成，避免跨进程传递大数组
    # cv2.imwrite(f'output_dir/{path_to_image.split("\\")[-1]}', upscaled_img)
    return upscaled_img

file_list = ['page.png', ...]
base_path = 'C:\\Users\\user\\Desktop\\DPI_proj\\images\\'
res = []

# 进程数建议设为CPU核心数，避免过度调度
with ProcessPoolExecutor(max_workers=multiprocessing.cpu_count()) as executor:
    future_to_img = {
        executor.submit(Upscale, f'{base_path}{i}'): i for i in file_list
    }
    t = tqdm.tqdm(total=len(future_to_img))
    
    for future in as_completed(future_to_img):
        try:
            img = future.result()
            res.append(img)
            t.update(1)
        except Exception as e:
            print(f"处理{future_to_img[future]}时出错: {e}")

# 批量保存结果
for idx, img in enumerate(res):
    cv2.imwrite(f'{idx}.png', img)

关键注意事项 #

• 进程数设置：max_workers推荐设为CPU核心数（multiprocessing.cpu_count()），过多进程会增加CPU上下文切换开销，反而降低效率。
• 减少跨进程数据传输：如果处理后的图像数组很大，建议在Upscale函数内部直接完成图像写入，无需返回数组，避免进程间的大内存拷贝开销。
• 异常捕获：添加异常处理逻辑，避免单个任务失败导致整个程序崩溃。

三、额外优化建议 #

1. GPU加速：若有NVIDIA显卡，可编译带CUDA支持的OpenCV版本，将upscale操作迁移到GPU执行，单张图像的处理速度会大幅提升，再结合多进程可进一步放大效率。
2. 分批次处理：若图像数量极大，可分批次提交任务，避免一次性占用过多内存。
3. IO优化：如果图像读取是瓶颈，可尝试将常用图像预加载到内存（需注意内存占用，数百张大图可能导致内存不足）。

内容的提问来源于stack exchange，提问作者user20658672