如何获取Keras模型的中间层输出？前向传播时可设断点查看吗？

我想要查看模型的中间层输出，示例代码如下：

import tensorflow as tf

inputs = tf.keras.Input(shape=(3,))
x = tf.keras.layers.Dense(4, activation=tf.nn.relu)(inputs)
x1 = tf.keras.layers.Dense(5, activation=tf.nn.softmax)(x)
outputs = tf.keras.layers.Dense(5, activation=tf.nn.softmax)(x1)
model = tf.keras.Model(inputs=inputs, outputs=outputs)
model.compile()

实际模型更为复杂，此处仅提供代码片段，询问是否可以在前向传播过程中设置断点或类似方式查看模型的中间输出。

可行的几种实现方法 #

1. 构建辅助输出模型（最简便） #

基于原模型的输入和目标中间层，创建新模型一次性获取所有需要的输出：

# 示例：获取x、x1层和最终输出
# 可通过层索引或自定义层名（定义层时加name参数）定位目标层
intermediate_model = tf.keras.Model(
    inputs=model.input,
    outputs=[model.layers[1].output, model.layers[2].output, model.output]
)

# 测试输入
test_input = tf.random.normal((1, 3))
# 直接拿到所有目标输出
x_out, x1_out, final_out = intermediate_model(test_input)
print("x层输出:", x_out)
print("x1层输出:", x1_out)

2. Eager模式下直接插入打印/断点 #

TensorFlow默认是Eager执行模式，可直接插入打印语句或Python原生断点：

• 插入打印Lambda层：

import sys

inputs = tf.keras.Input(shape=(3,))
x = tf.keras.layers.Dense(4, activation=tf.nn.relu)(inputs)
# 插入打印中间值的Lambda层
x = tf.keras.layers.Lambda(lambda x: tf.print("x层输出:", x, output_stream=sys.stdout))(x)
x1 = tf.keras.layers.Dense(5, activation=tf.nn.softmax)(x)
x1 = tf.keras.layers.Lambda(lambda x: tf.print("x1层输出:", x, output_stream=sys.stdout))(x1)
outputs = tf.keras.layers.Dense(5, activation=tf.nn.softmax)(x1)
model = tf.keras.Model(inputs=inputs, outputs=outputs)

• 使用Python断点：
  在需要查看的位置插入import pdb; pdb.set_trace()，运行时会进入调试环境，可直接查看当前张量的值。

3. 利用TensorFlow调试工具 #

通过tf.debugging模块记录所有中间张量：

tf.debugging.experimental.enable_dump_debug_info(
    "./debug_logs",
    tensor_debug_mode="FULL_HEALTH",
    circular_buffer_size=-1
)

运行模型后，./debug_logs目录会记录所有中间张量数据，也可通过TensorBoard可视化查看。

4. 自定义回调函数（训练过程中查看） #

如果需要在训练时监控中间层输出，可自定义回调函数：

class IntermediateOutputCallback(tf.keras.callbacks.Callback):
    def __init__(self, model, layer_names):
        self.intermediate_model = tf.keras.Model(
            inputs=model.input,
            outputs=[model.get_layer(name).output for name in layer_names]
        )
    
    def on_batch_end(self, batch, logs=None):
        # 这里示例用随机输入演示，实际可从训练数据中获取当前批次输入
        test_input = tf.random.normal((1, 3))
        outputs = self.intermediate_model(test_input)
        print(f"Batch {batch} 中间层输出:", outputs)

# 使用回调（需替换为你的训练数据和参数）
callback = IntermediateOutputCallback(model, layer_names=["dense", "dense_1"])
model.fit(tf.random.normal((10,3)), tf.random.normal((10,5)), epochs=2, callbacks=[callback])

内容的提问来源于stack exchange，提问作者kuku