Python多线程未提升图片缩放效率，求排查性能瓶颈

咱们来一步步拆解问题根源：

1. GIL锁卡了CPU密集型任务的并行 #

你用的multiprocessing.dummy.Pool是线程池，但Python有个绕不开的GIL（全局解释器锁）——同一时间只能有一个线程执行Python字节码。你的resize_img函数里，transform.resize是实打实的CPU密集型操作（图像缩放要做大量矩阵运算），这种场景下多线程根本没法真正并行，本质上还是串行跑任务，自然看不到耗时减少。

2. 线程数超标反而添乱 #

你把线程数设到10，远超你的4核CPU，结果就是CPU要不断在10个线程间切换上下文，额外的调度开销直接拖慢了实际处理速度，甚至导致系统卡顿——相当于让CPU不停“做切换动作”，没时间专注处理图像。

3. IO耗时占比太低，线程并行没用武之地 #

虽然代码里有读写文件的操作，但如果你的图像文件不大，IO耗时在整个任务里占比极低，大头还是CPU缩放的时间，所以多线程没法靠并行IO来提效。

要让4核CPU跑起来，得用真正的进程池（不是线程池），只需要改一行导入代码：

# 把原来的线程池导入换成这个
from multiprocessing import Pool
import glob
import os
import itertools
from shutil import copyfile
from skimage import io, transform  # 假设你用的是scikit-image

# 建议把全局变量改成参数传入，避免多进程下的变量问题
img_file_extension = "jpg"  # 替换成你实际的图像扩展名
copyLabels = True

def resize_img_folder_multithreaded(img_fldr_src, img_fldr_dst, max_num_processes):
    # 用os.path.join更安全，避免路径拼接出错
    images = glob.glob(os.path.join(img_fldr_src, f"*.{img_file_extension}"))
    # 用with语句自动管理进程池，不用手动close/join
    with Pool(max_num_processes) as pool:
        pool.starmap(resize_img, zip(images, itertools.repeat(img_fldr_dst)))

def resize_img(img_path_src, img_fldr_dest):
    #print(f"正在处理: {img_path_src}")
    image = io.imread(img_path_src)
    image = transform.resize(image, [300, 300])
    # 提前拼接好目标路径
    dest_img_path = os.path.join(img_fldr_dest, os.path.basename(img_path_src))
    io.imsave(dest_img_path, image)
    # 用splitext处理扩展名更稳妥，避免硬编码[:-4]出错
    label_src_path = os.path.splitext(img_path_src)[0] + ".xml"
    if copyLabels and os.path.exists(label_src_path):
        dest_label_path = os.path.join(img_fldr_dest, os.path.basename(label_src_path))
        copyfile(label_src_path, dest_label_path)

小提示： #

• 进程数建议设成和你的CPU核心数一致（比如4），最多加1，太多进程会增加调度开销。
• 全局变量（比如copyLabels）最好改成函数参数传入，避免多进程下的变量传递问题。
• 如果追求更快的图像缩放速度，可以换成OpenCV的cv2.resize，比skimage的速度快不少。

内容的提问来源于stack exchange，提问作者LordTitiKaka