tf.gradient_tape()中ReLU层输入尺寸异常变化问题求助

我尝试遍历网络中的每一层以获取网络的梯度。在tf.gradient_tape()中遍历model.layers[layernumber]时，ReLU层将接收的输入尺寸从(466,36)变为(466,195)，但查看该层的summary时尺寸仍为(466,36)。为何仅在tf.gradient_tape()中出现尺寸变化？

以下是我的代码：

# Convert the input sample to a tensor
input_sample = X[0]
input_tensor = input_sample.reshape((1,) + input_sample.shape)
input_tensor = tf.convert_to_tensor(input_tensor, dtype=tf.float32)
input_tensor = tf.Variable(input_tensor, dtype=tf.float32, trainable=True)

# Record operations on the tape to calculate gradients
layers = model.layers

# Calculate the gradients for each layer
gradients = []

# tf.compat.v1.disable_eager_execution()
# Iterate through each layer
for layer in layers:
    with tf.GradientTape() as tape:
        tape.watch(input_tensor)

        # Forward pass through the layer
        output = layer(input_tensor)

        print(output.shape, layer)

    # Calculate the gradients of the layer output with respect to the input tensor
    layer_gradients = tape.gradient(output, input_tensor)

    gradients.append(layer_gradients)

我尝试将ReLU替换为含ReLU的Lambda层，但问题依旧；仅计算输出与输入的梯度时，问题也未解决。

• 核心原因：当前代码是把同一个初始input_tensor直接喂给每一层，完全脱离了原网络的层间依赖关系。原网络中ReLU层的输入是前一层的输出（尺寸为(466,36)），但你跳过了前面的层，直接用初始输入（尺寸应为(466,195)）喂给ReLU层，导致输出尺寸和model.summary()中记录的网络串联时的尺寸不符。summary展示的是层按顺序连接时的输出尺寸，而非单独调用层时的结果。

• 修正后的代码：要获取每一层相对于初始输入的梯度，需按网络正向传播顺序逐层传递输出，同时用梯度带记录整个过程：

input_sample = X[0]
input_tensor = input_sample.reshape((1,) + input_sample.shape)
input_tensor = tf.convert_to_tensor(input_tensor, dtype=tf.float32)
input_tensor = tf.Variable(input_tensor, dtype=tf.float32, trainable=True)

gradients = []
current_input = input_tensor

# 使用persistent=True的梯度带，支持多次调用gradient方法
with tf.GradientTape(persistent=True) as tape:
    tape.watch(input_tensor)
    layer_outputs = []
    # 按网络顺序正向传播，记录每一层的输出
    for layer in model.layers:
        current_input = layer(current_input)
        layer_outputs.append(current_input)

# 遍历每一层输出，计算其相对于初始输入的梯度
for output in layer_outputs:
    grad = tape.gradient(output, input_tensor)
    gradients.append(grad)

del tape  # 释放persistent梯度带的资源

• 补充说明：替换ReLU为Lambda层无法解决问题，因为根源是输入数据的传递逻辑错误，而非激活层的实现方式。原代码的循环逻辑完全不符合网络实际运行流程，每个层的输入必须由前一层的输出提供，才能复现summary中的尺寸和网络行为。

内容的提问来源于stack exchange，提问作者teo