如何用Python多进程/多线程替换循环加速method_A？

核心选择：多进程还是多线程？ #

• CPU密集型method_B：优先用多进程。Python的GIL（全局解释器锁）会限制多线程的CPU利用率，多进程能绕过GIL，充分利用多核CPU资源，适合字符串计算、正则匹配、复杂数据处理等场景。
• IO密集型method_B：优先用多线程。多线程开销远低于多进程，适合网络请求、文件读写等需要等待外部资源的场景。

多进程实现（CPU密集场景） #

以下是可直接运行的正确实现，解决你之前结果为空或进程未生效的问题：

import multiprocessing

# 确保method_B可以被子进程正确导入，不要定义在其他函数内部
def method_B(string):
    # 替换为你的实际业务逻辑，示例：生成字符串的变体集合
    return {string.lower(), string.upper(), f"{string}_processed"}

def method_A(set_A):
    # 初始化结果集，先加入原集合A
    results = set_A.copy()
    
    # 创建进程池，默认使用CPU核心数，也可手动指定如processes=4
    with multiprocessing.Pool() as pool:
        # 批量执行method_B，map会自动分配任务到子进程并收集结果
        all_b_sets = pool.map(method_B, set_A)
    
    # 合并所有返回的B*集合
    for b_set in all_b_sets:
        results.update(b_set)
    
    return results

# Windows系统下必须加这个判断，避免多进程启动时重复导入模块
if __name__ == "__main__":
    test_set = {"Hello", "World", "Python"}
    print(method_A(test_set))

常见问题排查 #

你之前遇到的结果为空/进程未生效，大概率是以下原因：

1. 缺少if __name__ == "__main__":：Windows系统下多进程需要这个保护，否则子进程会重复执行主代码，导致异常或任务未正确执行。
2. method_B定义位置错误：如果method_B定义在method_A内部，子进程无法导入该函数，会导致任务失败无返回。
3. 未正确收集返回值：若使用pool.apply_async而未调用get()获取结果，会导致结果丢失。

多线程实现（IO密集场景） #

如果method_B是IO密集型，用线程池更高效：

from concurrent.futures import ThreadPoolExecutor

def method_B(string):
    # 替换为你的实际IO逻辑，示例：模拟网络请求延迟
    import time
    time.sleep(0.2)
    return {f"{string}_api1", f"{string}_api2"}

def method_A(set_A):
    results = set_A.copy()
    
    # 创建线程池，默认线程数为CPU核心数*5（IO场景可适当调高）
    with ThreadPoolExecutor(max_workers=8) as executor:
        # 批量提交任务
        futures = [executor.submit(method_B, s) for s in set_A]
        # 遍历获取每个任务的结果并合并
        for future in futures:
            b_set = future.result()
            results.update(b_set)
    
    return results

if __name__ == "__main__":
    test_set = {"user1", "user2", "user3"}
    print(method_A(test_set))

额外优化建议 #

1. 提前去重：如果set_A本身有重复元素，先去重减少不必要的任务。
2. 分块处理：如果set_A元素量极大（百万级以上），可分块提交任务，避免一次性占用过多内存。
3. 进程/线程数调优：根据CPU核心数或IO并发限制调整processes/max_workers参数，避免过度调度导致性能下降。
4. 用concurrent.futures统一接口：ProcessPoolExecutor和ThreadPoolExecutor用法几乎一致，可根据场景快速切换，代码更易维护。

内容的提问来源于stack exchange，提问作者SO_is_love