多线程/多进程加速类初始化失效：效率未升反降

原代码的核心问题 #

多线程代码的问题

• 线程创建语法错误：t1.threading.Thread是错误写法，正确是threading.Thread，而且没调用start()启动线程。
• 根本没实现并行：loadClasses还是在单个线程里循环处理所有文件，线程只是套了个壳，反而增加了调度开销，导致耗时翻倍。

多进程代码的问题

• 全局变量不共享：多进程里子进程的classlist是主进程的副本，append操作不会同步到主进程，最后主进程的列表还是空的。
• Pool.map用法完全错了：map第二个参数是整个可迭代对象（比如filelist），不需要循环每个文件单独调用，你传单个文件字符串会被拆成字符迭代，完全不符合预期。
• 进程池太小：只开2个进程，没充分利用CPU资源。

正确的加速方案 #

根据OtherClass初始化的核心操作选方案：如果是文件读取这类IO密集操作，优先多线程；如果是大量计算的CPU密集操作，用多进程。

方案1：多线程（IO密集场景）

把每个文件的初始化分配到单独线程，真正并行处理：

import threading

classlist = []
# 加锁保证多线程修改列表时的安全
lock = threading.Lock()

filelist = ['a','b','c']  # 你的文件路径列表

def load_single_class(file_path):
    obj = OtherClass(file_path)
    # 加锁后再修改全局列表，避免数据混乱
    with lock:
        classlist.append(obj)

def threading_handler():
    threads = []
    for file in filelist:
        t = threading.Thread(target=load_single_class, args=(file,))
        threads.append(t)
        t.start()
    # 等待所有线程跑完
    for t in threads:
        t.join()

threading_handler()

• 每个线程负责一个文件的初始化，真正实现IO并行。
• 线程锁是必须的，防止多线程同时修改classlist导致的异常。

方案2：多进程（CPU密集场景）

用进程池的返回值收集结果（多进程不共享全局变量，别用全局列表存结果）：

from multiprocessing import Pool
import os

filelist = ['a','b','c']

def load_single_class(file_path):
    # 每个进程单独初始化实例，直接返回结果
    return OtherClass(file_path)

def pool_handler():
    # 进程池大小设为CPU核心数，最大化利用资源
    with Pool(processes=os.cpu_count()) as p:
        global classlist
        # map自动把filelist的每个元素传给函数，收集所有返回值
        classlist = p.map(load_single_class, filelist)

pool_handler()

• 用Pool.map自动分配任务，结果直接返回主进程，避免全局变量的坑。
• 进程池大小设为CPU核心数，比如8核的话，40个文件的耗时会从60秒降到7.5秒左右。

内容的提问来源于stack exchange，提问作者Alex Tripsas