如何在Keras中实现权重矩阵的特定对称约束？

核心思路 #

你需要自定义一个Keras权重约束类，在每次权重更新后，强制把矩阵调整成符合要求的结构——每个2x2的子块都遵循[[a, b], [-b, a]]的形式，刚好对应你要的两个约束：

• 左上角元素（2n-1,2m-1）与右下角元素（2n,2m）相等（均为a）
• 右上角元素（2n-1,2m）是左下角元素（2n,2m-1）的相反数（b = -(-b)）

代码实现 #

先导入必要的模块：

import tensorflow as tf
from tensorflow.keras.constraints import Constraint

自定义约束类：

class CustomWeightConstraint(Constraint):
    def __call__(self, w):
        # 获取权重矩阵的形状
        n, m = w.shape
        # 确保N和M是偶数，可选：如果需要严格检查可以加断言
        # assert n % 2 == 0 and m % 2 == 0, "权重矩阵的行列数必须为偶数"
        
        # 将矩阵拆分为多个2x2的子块，调整形状为 (n//2, m//2, 2, 2)
        blocks = tf.reshape(w, (2, n//2, 2, m//2))
        blocks = tf.transpose(blocks, perm=[1, 3, 0, 2])
        
        # 提取每个子块的基准值a和b
        a = blocks[:, :, 0, 0]
        b = blocks[:, :, 0, 1]
        
        # 构造符合约束的2x2子块
        new_blocks = tf.stack([
            tf.stack([a, b], axis=-1),
            tf.stack([-b, a], axis=-1)
        ], axis=-2)
        
        # 将子块重新拼接回原始形状的权重矩阵
        new_w = tf.reshape(tf.transpose(new_blocks, perm=[2, 0, 3, 1]), (n, m))
        return new_w

使用示例 #

在定义Keras层时，将这个约束传给kernel_constraint参数即可，以全连接层为例：

from tensorflow.keras.layers import Dense

# 假设输入维度为M，输出维度为N（对应权重矩阵形状[N,M]）
model = tf.keras.Sequential([
    Dense(units=N, input_shape=(M,), kernel_constraint=CustomWeightConstraint())
])

补充说明 #

• 这个约束会在每次权重更新后自动触发，确保矩阵始终满足你的要求
• 如果需要严格限制输入的权重矩阵行列数为偶数，可以在__call__方法开头加上断言，避免传入不符合要求的矩阵

内容的提问来源于stack exchange，提问作者Suhwan J