使用Keras函数式API构建模型时遇No gradients provided错误求助

问题根源 #

1. 动态循环的梯度追踪失效：你用tf.range(n)创建循环，其中n是Dense层输出的张量，这种动态控制流（迭代次数由张量值决定）会导致TensorFlow无法正确追踪循环内层的梯度，Keras函数式API默认期望静态的层结构定义。
2. 形状损失的不可微性：损失函数中基于tf.shape()计算的形状差是整数张量，这部分损失是离散的，无法产生有效的梯度反向传播到模型变量。

具体修复方案 #

1. 替换动态循环为可追踪的动态层操作 #

不要用Python循环或tf.range的while循环，改用TensorFlow的动态层复用+张量拼接方式，确保梯度能被追踪：

# 先定义要复用的Dense层
dense_4 = tf.keras.layers.Dense(4)
# 将n转为标量张量
n_scalar = tf.squeeze(n, axis=-1)
# 用tf.TensorArray管理动态输出，保证梯度追踪
output_array = tf.TensorArray(tf.float32, size=0, dynamic_size=True)
for i in tf.range(n_scalar):
    # 复用同一个Dense层，避免创建多个独立变量
    output = dense_4(input)
    output_array = output_array.write(i, output)
# 拼接成目标形状[1, None, 4]
final_output = tf.transpose(output_array.stack(), perm=[1, 0, 2])

核心是复用同一个Dense层，同时用tf.TensorArray管理动态输出，确保计算图能追踪梯度。

2. 修改损失函数，确保全量可微 #

去掉基于形状差的离散损失，将形状约束转化为可微形式：

• 比如把长度约束转化为连续值的MSE损失，替代不可微的整数绝对值差：

# 将n转为连续值（n本身是Dense(1)的输出，属于连续张量）
predicted_length = tf.squeeze(n, axis=-1)
target_length = tf.cast(tf.shape(expected)[1], tf.float32)
# 用MSE作为长度损失
length_loss = tf.keras.losses.MSE(predicted_length, target_length) * 100.
# 加上输出值的对比损失（示例用MSE）
value_loss = tf.keras.losses.MSE(logits, expected)
# 总损失
total_loss = length_loss + value_loss

3. 封装动态逻辑为自定义层，符合函数式API规范 #

把动态层逻辑封装到自定义Layer中，避免在模型定义中写裸循环：

class DynamicDenseLayer(tf.keras.layers.Layer):
    def __init__(self):
        super().__init__()
        self.dense_n = tf.keras.layers.Dense(1)
        self.dense_4 = tf.keras.layers.Dense(4)
    
    def call(self, inputs):
        n = self.dense_n(inputs)
        n_scalar = tf.squeeze(n, axis=-1)
        output_array = tf.TensorArray(tf.float32, size=0, dynamic_size=True)
        for i in tf.range(n_scalar):
            output = self.dense_4(inputs)
            output_array = output_array.write(i, output)
        stacked = output_array.stack()
        # 调整为[batch, seq_len, 4]的形状
        return tf.transpose(stacked, perm=[1, 0, 2])

# 构建模型
input_layer = tf.keras.Input(shape=(786432,))
dynamic_layer = DynamicDenseLayer()(input_layer)
model = tf.keras.Model(inputs=input_layer, outputs=dynamic_layer)

4. 自定义训练循环中确保梯度正确计算 #

用tf.GradientTape正确包裹前向传播：

optimizer = tf.keras.optimizers.Adam()
for epoch in range(epochs):
    with tf.GradientTape() as tape:
        logits = model(input_batch, training=True)
        # 计算可微损失
        predicted_length = tf.squeeze(model.get_layer('dynamic_dense_layer').dense_n(input_batch), axis=-1)
        target_length = tf.cast(tf.shape(expected_batch)[1], tf.float32)
        length_loss = tf.keras.losses.MSE(predicted_length, target_length) * 100.
        value_loss = tf.keras.losses.MSE(logits, expected_batch)
        total_loss = length_loss + value_loss
    
    # 计算并应用梯度
    grads = tape.gradient(total_loss, model.trainable_variables)
    optimizer.apply_gradients(zip(grads, model.trainable_variables))

关键注意点 #

• 动态控制流必须用tf.TensorArray或tf.while_loop配合tf.cond保证梯度追踪，不能用普通Python循环。
• 所有损失项必须可微，避免基于整数张量的运算（tf.shape()返回整数，直接计算差异无法产生梯度）。
• 复用层而非循环创建新层，避免变量无法被模型正确注册。

内容的提问来源于stack exchange，提问作者Kevin