如何在Keras中强制不同层权重相等（含转置绑定需求）

嘿，这个需求我之前做过类似的，刚好可以给你一步步讲清楚怎么在Keras里实现指定层的权重绑定和转置关系。核心思路是让需要共享权重的层复用同一个可训练变量，而输入层与输出层的转置关系则需要通过自定义逻辑来处理权重的转置应用。

1. 先理清层维度对应关系 #

先明确你提到的维度：

• 输入层：输入特征维度20，输出到40维，所以权重kernel的shape是(20,40)
• 输出层：输入40维，输出到20维，需要权重是输入层kernel的转置，即shape(40,20)
• hidden1与hidden4：权重完全相等，假设它们的输入输出维度一致（比如都是40维输入→40维输出，权重shape(40,40)）
• hidden2与hidden3：同理，权重完全相等

2. 实现步骤与代码示例 #

第一步：导入依赖并定义共享权重变量 #

先手动创建所有需要共享的可训练权重变量，这样不同层就能复用它们：

import tensorflow as tf
from tensorflow.keras import layers, Model

# 输入层权重：shape (20,40)，对应输入20维→输出40维
input_kernel = tf.Variable(tf.random.normal(shape=(20, 40)), trainable=True)
input_bias = tf.Variable(tf.zeros(shape=(40,)), trainable=True)

# hidden1与hidden4共享的权重：假设输入输出都是40维，可根据实际调整
hidden1_weights = tf.Variable(tf.random.normal(shape=(40, 40)), trainable=True)
hidden1_bias = tf.Variable(tf.zeros(shape=(40,)), trainable=True)

# hidden2与hidden3共享的权重：同理可调整维度
hidden2_weights = tf.Variable(tf.random.normal(shape=(40, 40)), trainable=True)
hidden2_bias = tf.Variable(tf.zeros(shape=(40,)), trainable=True)

# 输出层的偏置（如果需要，可根据需求决定是否与输入层偏置绑定）
output_bias = tf.Variable(tf.zeros(shape=(20,)), trainable=True)

第二步：自定义层简化代码（可选但推荐） #

为了让代码更贴近Keras原生层的使用方式，我们可以自定义两个层：一个用于共享权重的Dense层，一个用于转置权重的输出层：

# 自定义共享权重的Dense层
class SharedDense(layers.Layer):
    def __init__(self, units, kernel, bias, **kwargs):
        super().__init__(**kwargs)
        self.units = units
        self.kernel = kernel
        self.bias = bias
    
    def call(self, inputs):
        return tf.matmul(inputs, self.kernel) + self.bias

# 自定义转置权重的输出层
class TransposedDense(layers.Layer):
    def __init__(self, units, kernel, bias=None, **kwargs):
        super().__init__(**kwargs)
        self.units = units
        self.kernel = kernel
        self.bias = bias if bias is not None else tf.Variable(tf.zeros(shape=(units,)))
    
    def call(self, inputs):
        # 使用输入层kernel的转置作为当前层的权重
        return tf.matmul(inputs, tf.transpose(self.kernel)) + self.bias

第三步：搭建完整模型 #

现在用自定义层来搭建模型，确保对应层复用指定的权重变量：

# 输入层
input_layer = layers.Input(shape=(20,))

# 输入层计算（使用自定义的共享权重逻辑）
x = SharedDense(40, kernel=input_kernel, bias=input_bias)(input_layer)

# hidden1层
hidden1_out = SharedDense(40, kernel=hidden1_weights, bias=hidden1_bias)(x)

# hidden2层
hidden2_out = SharedDense(40, kernel=hidden2_weights, bias=hidden2_bias)(hidden1_out)

# hidden3层：和hidden2共享权重
hidden3_out = SharedDense(40, kernel=hidden2_weights, bias=hidden2_bias)(hidden2_out)

# hidden4层：和hidden1共享权重
hidden4_out = SharedDense(40, kernel=hidden1_weights, bias=hidden1_bias)(hidden3_out)

# 输出层：使用输入层权重的转置
output_layer = TransposedDense(20, kernel=input_kernel, bias=output_bias)(hidden4_out)

# 构建模型
model = Model(inputs=input_layer, outputs=output_layer)

第四步：验证权重绑定效果 #

你可以打印模型的可训练变量，确认没有重复的权重变量，说明共享成功：

print("模型可训练变量：")
for var in model.trainable_variables:
    print(var.name, var.shape)

输出应该只有input_kernel、input_bias、hidden1_weights、hidden1_bias、hidden2_weights、hidden2_bias、output_bias这几个变量，没有额外的权重生成。

3. 关键注意事项 #

• 维度匹配：一定要根据你的实际层输入输出维度调整权重变量的shape，比如如果hidden1是40维输入→50维输出，那hidden1_weights的shape应该是(40,50)
• 训练状态：所有自定义的tf.Variable默认是trainable=True，如果不需要训练某组权重，可以设置为trainable=False
• 替代方案：如果不想自定义层，也可以用Lambda层直接写tf.matmul逻辑，不过自定义层的可读性更好

内容的提问来源于stack exchange，提问作者user8115948