如何将TensorFlow 2中的KerasTensor转换为numpy数组

问题原因 #

函数式API搭建模型过程中得到的KerasTensor是计算图的符号占位节点，仅代表计算逻辑的占位符，没有绑定实际运行时的数值。你之前尝试的tf.make_ndarray()用于转换TensorProto序列化对象，.numpy()仅支持有实际值的EagerTensor，二者对没有绑定数值的KerasTensor都不生效。

可行转换方案 #

方案1：模型推理阶段获取输出后转换

如果需要的是模型前向传播时该层的实际输出值，将需要提取输出的层指定为模型输出节点，输入真实数据推理后得到的运行时张量即可直接转numpy数组：

import tensorflow as tf
from tensorflow.keras import layers

# 示例：函数式模型构建
inputs = layers.Input(shape=(32,))
hidden = layers.Dense(64, activation='relu')(inputs) # 目标层输出
outputs = layers.Dense(10)(hidden)
# 构建单独提取目标层输出的模型
extract_model = tf.keras.Model(inputs=inputs, outputs=hidden)

# 输入真实数据推理
test_input = tf.random.normal((1, 32))
runtime_tensor = extract_model(test_input) # 此时输出为EagerTensor
numpy_arr = runtime_tensor.numpy() # 转换成功

方案2：训练过程中获取输出后转换

训练阶段需要获取中间层输出的场景：

• 自定义训练循环中，可在训练步函数外拿到运行时张量后直接转换
• 内置fit方法训练时，可通过LambdaCallback回调在每个step/epoch结束后收集输出

# 自定义训练循环示例
loss_fn = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)
optimizer = tf.keras.optimizers.Adam()
model = tf.keras.Model(inputs=inputs, outputs=outputs)

@tf.function
def train_step(x, y):
    with tf.GradientTape() as tape:
        pred = model(x, training=True)
        loss = loss_fn(y, pred)
    grads = tape.gradient(loss, model.trainable_weights)
    optimizer.apply_gradients(zip(grads, model.trainable_weights))
    # 获取指定中间层的运行时输出
    hidden_output = model.get_layer('dense').output
    return loss, hidden_output

# 迭代训练时转换
for x, y in train_dataset:
    loss, hidden_output = train_step(x, y)
    train_numpy_arr = hidden_output.numpy()

注意事项 #

• 不要在@tf.function装饰的函数内部执行张量转numpy的操作，该装饰器会将函数内逻辑编译为静态计算图，numpy操作不属于TensorFlow图算子，会触发报错。
• 若仅需要对张量执行数值计算，优先使用TensorFlow原生算子实现，无需转换为numpy数组，性能更高也能兼容图执行模式。

内容的提问来源于stack exchange，提问作者MOON