如何在Python多进程池（ProcessPool）中捕获打印信息？

问题背景 #

现有parallel_run函数，运行时会打印诊断信息并返回结果，需要同时捕获这些打印信息与返回值。使用ProcessPoolExecutor实现多进程调用时，出现大量如下错误：

Generated an exception: A process in the process pool was terminated abruptly while the future was running or pending.

错误原因分析 #

1. Matplotlib多进程冲突：原代码在全局作用域导入了matplotlib.pyplot，子进程初始化时会加载该模块，而部分Matplotlib后端（如默认的TkAgg）不支持多进程环境，直接导致子进程意外终止。
2. stdout重定向的潜在风险：使用contextlib.redirect_stdout在子进程中捕获输出，虽本身可行，但会增加子进程的IO操作复杂度，若存在其他隐性资源问题，会加剧进程崩溃概率。

可行解决方案 #

方案1：让函数直接返回诊断信息（最可靠） #

修改parallel_run，让它直接返回诊断消息和结果，彻底避免捕获stdout的操作，减少子进程中的潜在问题。

方案2：隔离Matplotlib导入 #

将Matplotlib的导入和绘图代码放在if __name__ == '__main__'块内，避免子进程加载Matplotlib模块，从根源消除多进程冲突。

修改后的完整代码 #

import concurrent.futures
import io
import contextlib

# 模拟业务函数parallel_run
def parallel_run(x_z_pair, Precision, Max_iterations):
    x_val, z_val = map(float, x_z_pair)
    diagnostic_message = f"Running with x={x_val}, z={z_val}, Precision={Precision}, Max_iterations={Max_iterations}"
    result = [(x_val, z_val), [x_val * 0.1, x_val * 0.2]]  # 模拟返回结果
    # 直接返回诊断信息和结果，无需打印
    return diagnostic_message, result

# 封装调用逻辑
def run_parallel_with_capture(x_z_pair, Precision, Max_iterations):
    try:
        diagnostic_message, result = parallel_run(x_z_pair, Precision, Max_iterations)
        return diagnostic_message, result
    except Exception as e:
        return f"Exception: {str(e)}", None

# 生成任务参数
x_values = [round(x * 0.25, 2) for x in range(4, 41)]  # 1到10，步长0.25
x_z_pairs = [(str(x), str(1.0)) for x in x_values]  # z固定为1.0

# 固定参数
Precision = 20
Max_iterations = 6

# 进程池调用的入口函数
def run_parallel(x_z_pair):
    return run_parallel_with_capture(x_z_pair, Precision, Max_iterations)

if __name__ == '__main__':
    # 将Matplotlib导入移至主进程块，避免子进程加载
    import matplotlib.pyplot as plt
    
    results = []
    with concurrent.futures.ProcessPoolExecutor(max_workers=5) as executor:
        futures = [executor.submit(run_parallel, x_z_pair) for x_z_pair in x_z_pairs]
        for future in concurrent.futures.as_completed(futures):
            try:
                results.append(future.result())
            except Exception as exc:
                print(f'Generated an exception: {exc}')

    # 整理诊断信息和结果
    diagnostic_messages = [res[0] for res in results if res[1] is not None]
    results_data = [res[1] for res in results if res[1] is not None]

    # 提取绘图数据
    x_vals = [res[0][0] for res in results_data]
    y_vals = [res[1][0] for res in results_data]

    # 绘图
    plt.plot(x_vals, y_vals, marker='o')
    plt.xlabel('x_val')
    plt.ylabel('y_val')
    plt.title('y_val vs x_val')
    plt.grid(True)
    plt.show()

    # 打印诊断信息
    for message in diagnostic_messages:
        print(message)

额外说明 #

如果必须保留parallel_run中的print操作，可调整为在函数内既打印又返回诊断信息，这样既保留原有打印行为，又能通过返回值捕获信息，避免子进程中的stdout重定向操作。同时务必确保所有可能引发多进程冲突的模块（如Matplotlib、PyQt等）仅在主进程中导入。

内容的提问来源于stack exchange，提问作者ShoutOutAndCalculate