将joblib Parallel转换为multiprocessing Pool以解决进程无法终止问题

完全可以用Python标准库的multiprocessing.Pool替代joblib Parallel，通过close()和join()确保进程彻底终止，以下是适配你需求的完整转换代码：

完整代码示例 #

# 定义业务函数（原代码未给出，补全以保证可运行）
def function_to_call(a, b):
    return a * b, a + b

import multiprocessing

def multiprocess(lst_of_tuples):
    # 初始化进程池，使用全部可用CPU核心（对应原代码n_jobs=-1）
    pool = multiprocessing.Pool(processes=multiprocessing.cpu_count())
    # starmap自动将元组拆分为函数的多个参数，完美适配tuple输入
    results = pool.starmap(function_to_call, lst_of_tuples)
    # 关键步骤：先关闭进程池（禁止提交新任务），再等待所有子进程完成
    pool.close()
    pool.join()
    return results

# 测试用例
lst_of_tuples = [(10, 5), (0.5, 10), (8, 3)]
products, sums = list(map(list, zip(*multiprocess(lst_of_tuples))))

# 验证结果
print("products:", products)  # 输出: [50, 5.0, 24]
print("sums:", sums)          # 输出: [15, 10.5, 11]

关键说明 #

• starmap的优势：因为你的输入是元组列表，每个元组正好对应function_to_call的两个参数，starmap会自动解包元组，省去手动提取t[0], t[1]的冗余代码。如果用普通map，需要额外封装函数拆包，效率更低。
• 进程终止保障：pool.close()阻止向进程池提交新任务，pool.join()阻塞主进程直到所有子进程完成退出，这两个步骤能确保所有子进程被正确回收，不会出现服务器上的残留进程。
• 简化写法：也可以用with语句自动管理进程池生命周期，无需手动调用close()和join()，效果完全一致：

  def multiprocess(lst_of_tuples):
      with multiprocessing.Pool(processes=multiprocessing.cpu_count()) as pool:
          return pool.starmap(function_to_call, lst_of_tuples)
  

• 跨平台注意：如果在Windows环境运行，需把主执行代码放在if __name__ == '__main__':块内，避免进程创建的递归问题（Linux/macOS服务器环境无需此操作）。

内容的提问来源于stack exchange，提问作者codenoodles