如何通过多进程/多线程调用带参数函数并存储计算结果？

你的场景属于CPU密集型模拟计算，Python的全局解释器锁（GIL）会限制多线程的性能提升，因此优先推荐使用多进程来并行执行任务。以下是几种实用的实现方式：

方法1：使用concurrent.futures.ProcessPoolExecutor（语法简洁，推荐） #

通过ProcessPoolExecutor可以方便地管理进程池，同时关联任务索引与结果：

from concurrent.futures import ProcessPoolExecutor
import pandas as pd  # 假设返回结果为DataFrame

def foo_func(args):
    # 这里替换为你的耗时模拟计算逻辑
    # 示例：生成测试用DataFrame
    return pd.DataFrame({'value': [args, args*2, args*3]})

n = 5
target_args = 10
res = {}

# 初始化进程池（默认大小为CPU核心数）
with ProcessPoolExecutor() as executor:
    # 提交n个任务，用字典关联每个任务与对应的索引
    task_map = {executor.submit(foo_func, target_args): idx for idx in range(n)}
    # 遍历完成的任务，将结果存入res
    for future in task_map:
        res[task_map[future]] = future.result()

# 验证结果
for idx in res:
    print(f"res[{idx}]:\n{res[idx]}\n")

方法2：使用multiprocessing.Pool #

适合批量执行相同参数的任务，结果按任务提交顺序返回：

from multiprocessing import Pool
import pandas as pd

def foo_func(args):
    # 替换为你的耗时计算逻辑
    return pd.DataFrame({'value': [args, args*2, args*3]})

n = 5
target_args = 10
res = {}

# 创建进程池并执行任务
with Pool() as pool:
    # 生成n个相同参数的任务列表
    task_args_list = [target_args] * n
    # 批量执行并获取结果列表
    results = pool.map(foo_func, task_args_list)
    # 将结果按索引存入res
    for idx, result in enumerate(results):
        res[idx] = result

# 验证结果
for idx in res:
    print(f"res[{idx}]:\n{res[idx]}\n")

若为IO密集型任务（如网络请求/文件读写），可使用多线程 #

只需将上述代码中的ProcessPoolExecutor替换为ThreadPoolExecutor，或使用multiprocessing.dummy.Pool（线程池）：

from concurrent.futures import ThreadPoolExecutor

# 其余代码与方法1一致，仅替换Executor类型
with ThreadPoolExecutor() as executor:
    task_map = {executor.submit(foo_func, target_args): idx for idx in range(n)}
    for future in task_map:
        res[task_map[future]] = future.result()

注意事项 #

• 多进程间内存不共享，无需担心全局变量冲突；若需共享数据，可使用multiprocessing.Manager（本场景无需）
• 进程池大小可手动指定（如ProcessPoolExecutor(max_workers=4)），建议设为CPU核心数，避免过度调度
• 确保foo_func的输入参数和返回的DataFrame支持序列化（pandas对象默认支持pickle序列化）

内容的提问来源于stack exchange，提问作者reesespieces