Python中subprocess.run()并行执行替代方案求助（利用多核加速）

你的代码当前是串行逐个处理.dck文件，要利用所有CPU核心提速，最直接的方式是用Python的多进程模块并行执行外部命令（因为GIL的限制，多线程不适合这类CPU密集型的外部进程调用场景）。下面提供两种简单可行的实现方案：

方案一：使用concurrent.futures.ProcessPoolExecutor（推荐） #

这是Python3.2+自带的模块，用法简洁易维护，适合快速实现并行任务：

import os
import glob
import subprocess
from concurrent.futures import ProcessPoolExecutor

def process_single_file(file_path):
    # 执行TRNSYS命令，check=True会在命令执行失败时抛出异常
    subprocess.run([r"C:\TRNSYS18\Exe\TrnEXE64.exe", file_path, "/h"], check=True)
    print(f"完成处理：{os.path.basename(file_path)}")

if __name__ == "__main__":
    # 提前计算脚本所在目录路径，避免重复计算
    script_dir = os.path.realpath(os.path.join(os.getcwd(), os.path.dirname(__file__)))
    # 获取所有目标文件的完整路径
    target_files = [os.path.join(script_dir, f) for f in glob.glob('0*.dck')]
    
    # 创建进程池，自动使用所有可用CPU核心
    with ProcessPoolExecutor(max_workers=os.cpu_count()) as executor:
        # 并行提交所有文件处理任务
        executor.map(process_single_file, target_files)

方案二：使用multiprocessing.Pool #

这是另一个经典的多进程实现模块，逻辑和上面一致：

import os
import glob
import subprocess
from multiprocessing import Pool

def process_single_file(file_path):
    try:
        subprocess.run([r"C:\TRNSYS18\Exe\TrnEXE64.exe", file_path, "/h"], check=True)
        print(f"完成处理：{os.path.basename(file_path)}")
    except subprocess.CalledProcessError as e:
        print(f"处理失败：{os.path.basename(file_path)}，错误：{e}")

if __name__ == "__main__":
    script_dir = os.path.realpath(os.path.join(os.getcwd(), os.path.dirname(__file__)))
    target_files = [os.path.join(script_dir, f) for f in glob.glob('0*.dck')]
    
    # 按CPU核心数创建进程池
    with Pool(processes=os.cpu_count()) as pool:
        pool.map(process_single_file, target_files)

关键注意事项 #

• 进程数调整：如果不想占满所有CPU核心，可以把os.cpu_count()改成具体数值（比如max_workers=4），避免系统资源过载
• 路径可靠性：用os.path.join拼接路径比手动用\\更稳妥，能兼容不同系统的路径规则
• 异常处理：示例中加入了try-except捕获命令执行失败的情况，避免单个文件处理出错导致整个程序终止
• TRNSYS兼容性：如果TrnEXE64.exe本身已经支持多线程占满单个核心，并行多个实例就能充分利用多核；如果它本身有资源竞争限制，需要适当减少进程数

内容的提问来源于stack exchange，提问作者Joe Roberts