如何在Python 3中合并两个TensorFlow/Keras模型并同时调用？

嘿，我来帮你搞定这个问题！你已经能精准拿到需要的帧了，那合并模型并同步调用这块其实没那么复杂，咱们分两种实用的方式来实现，完全能满足你同步获取两个模型结果的需求：

如果想把两个模型打包成一个整体，方便后续调用，可以直接用Keras的Model类来构建一个联合模型，分两种情况：

情况1：两个模型输入同一帧 #

如果你的frame x和frame x1是同一帧（或者预处理逻辑完全一致），可以让联合模型接收单个输入，同时输出两个模型的预测结果：

import tensorflow as tf
from tensorflow.keras.models import Model

# 加载你训练好的两个模型
model_a = tf.keras.models.load_model("path/to/your/model_a.h5")
model_b = tf.keras.models.load_model("path/to/your/model_b.h5")

# 定义输入层（和模型训练时的输入尺寸一致，比如224x224x3）
input_frame = tf.keras.Input(shape=(224, 224, 3))

# 获取两个模型的输出
output_a = model_a(input_frame)
output_b = model_b(input_frame)

# 构建联合模型
combined_model = Model(inputs=input_frame, outputs=[output_a, output_b])

# 推理时，输入单帧就能同时拿到两个结果
processed_frame = preprocess_your_frame(frame_x)  # 这里替换成你自己的预处理逻辑（归一化、resize等）
pred_a, pred_b = combined_model.predict(processed_frame, verbose=0)

情况2：两个模型输入不同帧（即frame x和frame x1是同一时刻的不同帧） #

如果需要给两个模型分别传入frame x和frame x1，可以构建一个接受双输入的联合模型：

import tensorflow as tf
from tensorflow.keras.models import Model

model_a = tf.keras.models.load_model("path/to/your/model_a.h5")
model_b = tf.keras.models.load_model("path/to/your/model_b.h5")

# 定义两个输入层
input_x = tf.keras.Input(shape=(224, 224, 3))
input_x1 = tf.keras.Input(shape=(224, 224, 3))

# 分别传入两个模型
output_a = model_a(input_x)
output_b = model_b(input_x1)

# 构建联合模型
combined_model = Model(inputs=[input_x, input_x1], outputs=[output_a, output_b])

# 推理时同时传入两个帧
processed_x = preprocess_your_frame(frame_x)
processed_x1 = preprocess_your_frame(frame_x1)
pred_a, pred_b = combined_model.predict([processed_x, processed_x1], verbose=0)

其实如果只是需要同步获取两个模型的结果，完全不用强行合并模型，直接在推理时分别调用就行——对于30FPS的视频来说，这个速度完全够用：

import tensorflow as tf

# 加载模型
model_a = tf.keras.models.load_model("path/to/your/model_a.h5")
model_b = tf.keras.models.load_model("path/to/your/model_b.h5")

# 假设你已经拿到同一时刻的frame_x和frame_x1
# 先做预处理（必须和模型训练时的预处理逻辑一致！）
def preprocess(frame):
    resized = tf.image.resize(frame, (224, 224))  # 替换成你模型的输入尺寸
    normalized = resized / 255.0  # 替换成你训练时的归一化方式
    return tf.expand_dims(normalized, axis=0)  # 增加batch维度

processed_x = preprocess(frame_x)
processed_x1 = preprocess(frame_x1)

# 获取预测结果
pred_a = model_a.predict(processed_x, verbose=0)
pred_b = model_b.predict(processed_x1, verbose=0)

# 转换成你需要的布尔值（这里假设模型输出是概率，大于0.5为True）
result_a = (pred_a > 0.5).numpy()[0][0]
result_b = (pred_b > 0.5).numpy()[0][0]

# 执行你的逻辑判断
if result_a and result_b:
    print("y")
else:
    print("z")

• 预处理一致性：一定要保证推理时的预处理和模型训练时完全一致（比如resize尺寸、归一化参数、是否转灰度等），不然预测结果会完全不准！
• 推理加速：如果觉得30FPS的处理速度不够，可以用tf.function把推理流程打包成计算图，或者把模型转换成TensorRT格式，提升推理效率：

  @tf.function
  def fast_infer(frame_x, frame_x1):
      # 预处理
      x = tf.image.resize(frame_x, (224, 224)) / 255.0
      x1 = tf.image.resize(frame_x1, (224, 224)) / 255.0
      # 关闭训练模式（避免Dropout、BatchNorm等层的影响）
      pred_a = model_a(tf.expand_dims(x, 0), training=False)
      pred_b = model_b(tf.expand_dims(x1, 0), training=False)
      return (pred_a > 0.5), (pred_b > 0.5)
  
  # 调用加速后的推理函数
  result_a, result_b = fast_infer(frame_x, frame_x1)
  

• 帧同步：你已经能获取所需帧了，只要确保frame x和frame x1确实是同一时刻的帧就行，比如30FPS下t秒对应的帧索引是t*30，别搞混帧的时序哦～

内容的提问来源于stack exchange，提问作者aniket shrivastav