tensorflow.keras自定义层混合可训练与不可训练权重实现问题
问题根因拆解
- 最初实现的“权重属性被覆盖”假象
最初代码两次调用add_weight时,都把返回的Variable直接赋值给同一个self.w属性。第一次添加的可训练权重会被自动注册到层的可训练权重列表中,但第二次赋值会把self.w的引用直接替换为新的不可训练权重,导致call方法里只能用到第二个权重;第一次添加的可训练权重因为已经被注册到内部列表、没有被删除,会作为孤儿权重留在层结构中。调换权重添加顺序时,只是把哪个权重成为孤儿的情况互换,最终表现为“trainable属性被最后一次操作覆盖”的假象,本质是变量引用被覆盖+已注册权重未被正确清理。 - 修改后
get_weights()返回多余数组的原因get_weights()只会返回通过add_weight()注册到内部权重列表的Variable,不会追踪用tf.concat生成的中间Tensor。输出里那个shape为(2,1)、值全为1的数组,就是最初错误实现时残留的孤儿权重——修改build函数时,没有清理层实例之前已经注册的权重,这部分未参与前向计算的权重依然留在追踪列表中,就会被get_weights()一并返回。 - 梯度警告的触发原因
把tf.concat生成的中间Tensor存为self.w时,虽然前向计算可以正常运行,但拼接后的张量并非tf.Variable,层内部注册的孤儿权重根本没有参与前向计算图的构建,反向传播时自然没有梯度流向这些权重,就会弹出“梯度不存在”的警告。同时因为没有给add_weight显式指定名称,自动命名时出现了变量名重复,所以警告里才会出现完全相同的somme/Variable:0标识。
Keras权重追踪的核心规则
Keras Layer的权重关联完全不依赖你定义的类属性名:只要调用
add_weight()方法,生成的tf.Variable就会根据传入的trainable参数,被自动分到可训练/不可训练两个内部列表中。get_weights()本质是遍历这两个列表,返回每个Variable的numpy值,和给Variable赋了什么类属性没有任何关系。所有通过常规TensorFlow算子(concat、slice、reshape等)生成的中间张量,都不会被自动注册为层的可持久化权重——这类张量是计算图的临时节点,不是可以存储、更新的Variable,自然不会出现在权重列表中。
正确实现方式
按照权重追踪规则调整代码,需要满足三个要求:每个权重单独存储为独立类属性、显式指定权重独立名称、拼接计算放到call方法的前向流程中完成,不要把中间张量存为类属性。
class MySum(keras.layers.Layer): def __init__(self, units=32, **kwargs): super(MySum, self).__init__(**kwargs) self.units = units def build(self, input_shape): n_input_div_2 = input_shape[-1] // 2 # 可训练权重:独立存储、显式命名 self.w_trainable = self.add_weight( shape=(n_input_div_2, self.units), initializer=tf.ones_initializer(), trainable=True, name="w_trainable" ) # 不可训练权重:独立存储、显式命名 self.w_fixed = self.add_weight( shape=(input_shape[-1] - n_input_div_2, self.units), initializer=tf.keras.initializers.Constant(value=3), trainable=False, name="w_fixed" ) super().build(input_shape) def call(self, inputs): # 在前向计算流程中动态拼接两个权重,不存中间张量 full_w = tf.concat([self.w_trainable, self.w_fixed], axis=0) return tf.matmul(inputs, full_w)
实现后运行可以得到符合预期的结果:
get_weights()会返回两个独立的权重数组:shape(1,1)的全1矩阵(可训练)、shape(1,1)的全3矩阵(不可训练),不会出现多余的残留权重- 反向传播时梯度会正确流向可训练权重,不会出现梯度缺失的警告
- 前向计算的权重效果和拼接后的[[1.],[3.]]矩阵完全一致
内容的提问来源于stack exchange,提问作者Mep M
相关产品推荐
相关产品推荐

