如何高效并行处理含杂文件的文件夹以适配Python图像函数？

问题背景 #

我有一个Python函数，要求传入的文件夹路径仅包含图像文件，不能有其他内容。但我有3000多个文件夹，里面除了图像外还有随机.txt文件、RTSTRUC文件等杂项。
原本我会为每个文件夹使用shutil.copy()将图像复制到临时文件夹，再让函数指向该临时文件夹，但运行时过长。尝试改用shutil.copyfile()后速度依然很慢。我尝试用multiprocessing库并行处理，却因所有子进程共用同一个临时文件夹，导致文件混乱！
当前使用的代码如下：

for file in glob.glob(dicom_dir + "/*IMG*"):
    shutil.copy(file,tmp_dicom_folder)

该方案耗时极高。请问有没有无需为每个进程创建临时文件夹的并行处理方案，既能避免文件混乱又能提升效率？

可行解决方案 #

方案1：直接传递图像文件列表给目标函数（零复制开销） #

如果目标函数支持接收文件路径列表而非必须接收文件夹路径，这是最高效的方案——完全跳过文件复制步骤，直接筛选每个文件夹内的图像文件后传入函数。

示例代码：

import glob
from multiprocessing import Pool

def process_image_files(image_paths):
    # 这里调用你的目标函数，传入筛选后的图像路径列表
    your_target_function(image_paths)

def handle_single_folder(folder_path):
    # 筛选当前文件夹下的图像文件
    image_files = glob.glob(f"{folder_path}/*IMG*")
    process_image_files(image_files)

if __name__ == "__main__":
    # 替换为你的3000+文件夹路径列表
    folder_list = ["/path/to/folder1", "/path/to/folder2", ...]
    # 根据CPU核心数设置进程数（建议设为核心数的1-2倍）
    with Pool(processes=4) as pool:
        pool.map(handle_single_folder, folder_list)

方案2：给临时文件加唯一标识，共用临时文件夹 #

如果目标函数必须接收文件夹路径，可通过给每个文件夹的图像文件添加唯一前缀/后缀（比如原文件夹名称、进程ID），避免不同进程的文件冲突。处理完成后及时清理对应文件，避免临时文件夹臃肿。

示例代码：

import glob
import shutil
import os
from multiprocessing import Pool

def process_folder_with_unique_files(dicom_dir, tmp_folder):
    # 用原文件夹名称作为唯一前缀
    folder_prefix = os.path.basename(dicom_dir)
    copied_files = []
    
    # 复制并重命名文件
    for file in glob.glob(f"{dicom_dir}/*IMG*"):
        file_name = os.path.basename(file)
        target_path = os.path.join(tmp_folder, f"{folder_prefix}_{file_name}")
        shutil.copy(file, target_path)
        copied_files.append(target_path)
    
    # 调用目标函数处理临时文件夹
    your_target_function(tmp_folder)
    
    # 清理当前文件夹对应的临时文件
    for f in copied_files:
        os.remove(f)

if __name__ == "__main__":
    tmp_dicom_folder = "/path/to/your/tmp"
    folder_list = ["/path/to/folder1", "/path/to/folder2", ...]
    
    with Pool(processes=4) as pool:
        # 用starmap传递多参数
        pool.starmap(process_folder_with_unique_files, 
                     [(folder, tmp_dicom_folder) for folder in folder_list])

方案3：结合内存文件系统加速复制 #

如果你的系统支持tmpfs（Linux/macOS默认支持，Windows可通过RAMDisk实现），可以将临时文件夹挂载到内存中，大幅提升文件复制速度（内存读写远快于磁盘）。搭配方案2的命名规则，同时解决速度和冲突问题。

以Linux为例，先创建内存临时文件夹：

mkdir /tmp/mem_tmp
mount -t tmpfs tmpfs /tmp/mem_tmp

之后在Python代码中，将tmp_dicom_folder设为/tmp/mem_tmp即可。

内容的提问来源于stack exchange，提问作者Arrib Ahat