TensorFlow自定义层报‘Gradients do not exist for variables’的原因与解决

警告原因 #

你在自定义层gen_noise_sig的__init__方法中，对通过add_weight创建的可训练变量调用了.numpy()方法，将TensorFlow的tf.Variable对象转换成了普通numpy数组：

self.m = self.add_weight('m',[1],trainable=True).numpy()
self.sig = self.add_weight('sig',[1],trainable=True).numpy()

numpy数组不属于TensorFlow计算图的梯度追踪范畴，这些变量因此脱离了自动微分机制的监控，训练时无法计算它们的梯度，最终触发“Gradients do not exist for variables”警告。

解决方法 #

1. 修正自定义层的变量初始化 #

去掉.numpy()，直接保留tf.Variable类型的变量，让TensorFlow能够追踪其梯度：

class gen_noise_sig(layers.Layer):
    def __init__(self):
        super(gen_noise_sig, self).__init__()
        # 移除.numpy()，直接存储tf.Variable对象
        self.m = self.add_weight('m', [1], trainable=True)
        self.sig = self.add_weight('sig', [1], trainable=True)
    
    def get_config(self):
        config = super().get_config()
        # get_config需序列化配置，因此将变量转为numpy值存储
        config.update({
            "m": self.m.numpy(),
            "sig": self.sig.numpy(),
        })
        return config

    def call(self, inputs, training = True):
        out = inputs + tf.random.normal(tf.shape(inputs), mean=self.m, stddev=self.sig)
        out = tf.expand_dims(out, axis=-1)
        return out

2. 验证可训练变量 #

修改后可以取消注释print(model.trainable_weights)，查看输出是否包含gen_noise_sig/m:0和gen_noise_sig/sig:0两个变量，确认它们已被纳入训练体系。

额外说明 #

• add_weight方法返回的本身就是tf.Variable类型，自带梯度追踪能力，无需转换为numpy数组。
• get_config方法需要将层的配置序列化为可存储格式，因此这里要把变量转为numpy值，确保模型保存和加载时能正确恢复层的状态。

内容的提问来源于stack exchange，提问作者Oscar