TensorFlow2.6.0 gRPC场景调用模型报<tensor> is not an element of this graph错误

问题根本原因 #

gRPC服务默认启用多线程池处理请求，模型在主线程加载时生成的静态图上下文，和后续处理请求的工作线程的TensorFlow上下文不匹配，导致张量找不到所属的图。TensorFlow 2.x默认Eager执行模式下，旧的TF1风格全局图配置方法已经失效，所以之前的尝试没有效果。 #

方案1：快速修复（小流量场景适用） #

在服务端入口文件server.py的最开头，导入TensorFlow后立刻添加如下配置：

import tensorflow as tf
tf.config.run_functions_eagerly(True)

该配置会禁用TensorFlow的静态图编译逻辑，所有运算直接走Eager执行模式，完全规避跨线程的图绑定问题，修改后重启服务即可生效。 #

方案2：生产级修复（无性能损失） #

修改MyModel类的实现，显式创建全局静态图，加载模型时完成预热，确保所有运算节点都挂载到同一张图上：

import tensorflow as tf

class MyModel():
  def __init__(self):
    # 显式创建专属静态图
    self.graph = tf.Graph()
    self.model = None

  def load_model(self, model_path):
    # 加载模型时绑定到专属图
    with self.graph.as_default():
      self.model = tf.keras.models.load_model(model_path)
      # 预热：主线程跑一次空预测，完成所有运算节点挂载
      dummy_input = tf.random.uniform((1, 240, 240, 3))
      _ = self.model.predict(dummy_input, verbose=0)

  def predict(self, img):
    # 预测时显式指定专属图
    with self.graph.as_default():
      return self.model.predict(img, verbose=0)

修改后无需调整其他调用逻辑，重启服务即可生效，该方案不会损失推理性能，适合高并发生产环境使用。 #

可选补充配置 #

如果服务并发请求量不高，也可以将gRPC线程池调整为单线程，彻底避免多线程上下文切换问题，修改server.py中的线程池初始化代码：

# 将max_workers设置为1
server = grpc.server(futures.ThreadPoolExecutor(max_workers=1), options=options)

内容的提问来源于stack exchange，提问作者E_learner