如何将KerasTensor转换为numpy数组或TensorFlow EagerTensor？

你遇到的核心问题是：KerasTensor是符号张量，仅用于定义计算图结构，不包含实际数值，因此无法直接调用numpy()或tf.keras.backend.eval()方法转换为数组。要让它能被OpenCV处理，需要先获取包含实际数据的EagerTensor，再转换为numpy数组。

下面分两种常见场景给出解决方案：

场景1：模型推理后，将输出转换为OpenCV可处理的格式 #

这种情况适用于你已经定义好模型，需要运行推理得到结果后传入OpenCV函数。步骤如下：

1. 基于输入和输出张量构建完整的Keras模型；
2. 传入符合形状要求的实际输入数据（比如numpy数组或EagerTensor），得到模型输出的EagerTensor；
3. 调用numpy()方法将EagerTensor转换为numpy数组，即可用于OpenCV操作。

示例代码：

import tensorflow as tf
from tensorflow import keras
import cv2
import numpy as np

# 定义输入形状
input_shape = (128, 128, 1)

# 创建输入张量和模型结构
input_tensor = keras.layers.Input(shape=input_shape)
x = keras.layers.Conv2D(32, 3, activation='relu', padding='same')(input_tensor)
x = keras.layers.Conv2D(64, 3, activation='relu', padding='same')(x)
output_tensor = keras.layers.Conv2D(1, 3, activation='sigmoid', padding='same')(x)

# 构建完整模型
model = keras.Model(inputs=input_tensor, outputs=output_tensor)

# 生成/加载实际输入数据（示例：1个样本，形状为(1,128,128,1)）
input_data = np.random.rand(1, 128, 128, 1).astype(np.float32)

# 运行推理，得到EagerTensor格式的输出
output_eager = model(input_data)

# 转换为numpy数组，适配OpenCV输入
output_np = output_eager.numpy()

# 调整格式：去掉batch维度，得到(128,128,1)；如果OpenCV需要单通道灰度图，可压缩维度
cv_img = np.squeeze(output_np[0])

# 调用OpenCV函数示例
blurred_img = cv2.GaussianBlur(cv_img, (5, 5), 0)

场景2：将OpenCV操作嵌入到模型计算图中 #

如果需要在模型的层之间调用OpenCV处理（比如自定义层），需要用tf.py_function将OpenCV的numpy操作包装为TensorFlow计算图可识别的节点。步骤如下：

1. 定义处理函数：接收EagerTensor，转换为numpy数组后调用OpenCV，再返回numpy数组；
2. 自定义Keras层，在call方法中用tf.py_function包装上述处理函数；
3. 将自定义层加入模型结构。

示例代码：

import tensorflow as tf
from tensorflow import keras
import cv2
import numpy as np

# 定义OpenCV处理函数：输入为EagerTensor，输出为numpy数组
def opencv_blur(tensor):
    # 转换为numpy数组
    img_np = tensor.numpy()
    # 压缩单通道维度，得到(128,128)的灰度图格式
    img_gray = np.squeeze(img_np)
    # 调用OpenCV模糊操作
    blurred = cv2.GaussianBlur(img_gray, (5, 5), 0)
    # 恢复通道维度，返回(128,128,1)的数组
    return np.expand_dims(blurred, axis=-1).astype(np.float32)

# 自定义Keras层，包装OpenCV操作
class OpenCVBlurLayer(keras.layers.Layer):
    def call(self, inputs):
        # 使用tf.py_function将numpy操作嵌入计算图
        processed = tf.py_function(
            func=opencv_blur,
            inp=[inputs],
            Tout=tf.float32
        )
        # 手动设置输出形状，保证计算图能正确推断
        processed.set_shape(inputs.shape)
        return processed

# 构建包含自定义层的模型
input_shape = (128, 128, 1)
input_tensor = keras.layers.Input(shape=input_shape)
x = keras.layers.Conv2D(32, 3, activation='relu', padding='same')(input_tensor)
x = keras.layers.Conv2D(64, 3, activation='relu', padding='same')(x)
output_tensor = keras.layers.Conv2D(1, 3, activation='sigmoid', padding='same')(x)
# 添加OpenCV处理层
final_output = OpenCVBlurLayer()(output_tensor)

model = keras.Model(inputs=input_tensor, outputs=final_output)

# 测试模型
input_data = np.random.rand(1, 128, 128, 1).astype(np.float32)
result = model(input_data)
print(result.shape)  # 输出(1, 128, 128, 1)

内容的提问来源于stack exchange，提问作者Tom Berry