如何对不同形状numpy数组列表使用Keras模型__call__方法执行推理

问题原因 #

报错是传入参数和模型签名要求不匹配导致的，核心有两个问题：

1. 第一个输入（你传入的图像数组）是uint8类型，模型要求该位置参数为tf.float32类型
2. 第四个位置参数你传入的是Python原生浮点数0.99，模型要求该位置为tf.float32类型的标量张量

解决步骤 #

1. 对图像输入做类型转换，可同步补训练时的归一化操作：

# 如果训练时做了/255归一化就保留后面的除法，否则只保留cast操作
processed_img = tf.cast(pred_emb[3], dtype=tf.float32) / 255.0

2. 把第四个位置的动量参数转换为符合要求的张量：

bn_momentum = tf.constant(0.99, dtype=tf.float32)

3. 重新组装输入后调用模型即可：

# 直接传位置参数调用
output = model(processed_img, False, False, bn_momentum)
# 如果需要传入pred_emb列表，替换对应位置元素即可
pred_emb[3] = processed_img
# 补充/替换第四个参数为转换后的张量，根据你自己的列表结构调整
pred_emb[4] = bn_momentum
output = model(pred_emb)

额外推理提速技巧 #

如果还需要进一步提升推理速度，可以用tf.function开启图优化，可选开启JIT编译：

# 包装推理函数，首次调用会做图编译，后续调用速度大幅提升
infer_func = tf.function(model, jit_compile=True)
output = infer_func(processed_img, False, False, bn_momentum)

内容的提问来源于stack exchange，提问作者Rayleigh