Keras结合Pathos多进程预测报错：Tensor不属于当前图

嘿，这个问题我太熟了！之前在使用Keras结合多进程做批量预测时踩过一模一样的坑，本质上是TensorFlow的图隔离机制在搞鬼——每个进程都有自己独立的TensorFlow计算图，你在主进程里创建的模型绑定的是主进程的图，子进程根本找不到这个张量。

问题根源 #

当你在主进程中调用nnGenerator创建模型后，这个模型的所有张量都会被注册到主进程的默认TensorFlow图里。而pathos.multiprocessing启动的子进程会初始化自己的运行环境，默认不会继承主进程的图，所以当子进程调用model.predict()时，就会找不到对应的张量，抛出你看到的那个ValueError。

两种可行的解决方案 #

方案一：在每个子进程中重新创建/加载模型

这是最直接的方法，把模型的创建逻辑放到子进程的任务函数里，确保每个子进程都有自己的模型和对应的计算图：

from pathos.multiprocessing import ProcessingPool

def predict_with_model(input_data):
    # 子进程内部创建模型（或加载已保存的模型）
    from nnGenerator import create_model
    model = create_model()
    # 如果是预训练好的模型，替换成加载逻辑：
    # from tensorflow.keras.models import load_model
    # model = load_model("your_trained_model.h5")
    
    return model.predict(input_data)

if __name__ == "__main__":
    # 初始化进程池
    pool = ProcessingPool()
    # 准备待预测的输入数据列表
    input_list = [your_input_1, your_input_2, your_input_3]
    # 批量执行预测
    results = pool.map(predict_with_model, input_list)

方案二：在子进程初始化时绑定模型和图

如果不想每次预测都重新创建模型（比如模型初始化成本很高），可以利用进程池的初始化函数，在每个子进程启动时创建模型并绑定对应的图：

from pathos.multiprocessing import ProcessingPool
import tensorflow as tf
from nnGenerator import create_model

# 子进程全局变量，存储模型和对应的图
worker_model = None
worker_graph = None

def init_worker_process():
    """子进程初始化函数，创建模型并保存当前图"""
    global worker_model, worker_graph
    worker_model = create_model()
    worker_graph = tf.get_default_graph()

def predict_task(input_data):
    """子进程执行的预测任务，在对应的图上下文里运行"""
    global worker_model, worker_graph
    with worker_graph.as_default():
        return worker_model.predict(input_data)

if __name__ == "__main__":
    # 初始化进程池时指定初始化函数
    pool = ProcessingPool(initializer=init_worker_process)
    input_list = [your_input_1, your_input_2, your_input_3]
    results = pool.map(predict_task, input_list)

关键注意事项 #

• 如果你的模型是预训练好并保存的，要确保所有子进程都能访问到模型文件（比如放在公共路径下，不要用主进程的临时路径）。
• pathos.multiprocessing和标准库的multiprocessing行为略有不同，但核心问题都是TensorFlow的进程隔离，所以这两个方案同样适用于标准库的进程池。

内容的提问来源于stack exchange，提问作者Lennart S.