如何在Keras（TensorFlow 1.4）中指定神经网络神经元连接？

嘿，手动搭神经元连接确实太折磨人了，我之前做类似需求的时候也踩过坑，给你个适配TensorFlow 1.4和Keras的优雅方案——自定义一个带连接掩码的全连接层，完美解决部分权重可训练的问题：

核心思路 #

我们可以利用连接矩阵A作为掩码，让可训练的权重矩阵只在A[i,j]=1的位置生效，A[i,j]=0的位置强制为0且不参与训练。具体来说，就是在自定义层中初始化一个全可训练的权重矩阵，然后在计算输出时将其与连接矩阵逐元素相乘，这样0位置的权重始终被锁定为0，反向传播时这些位置的梯度也会被置零，不会更新权重。

代码实现 #

下面是完整的自定义层代码，直接就能用：

from keras.layers import Layer
import keras.backend as K
import numpy as np
from keras.models import Model
from keras.layers import Input

class MaskedDense(Layer):
    def __init__(self, connection_matrix, use_bias=False, **kwargs):
        # 把连接矩阵转成Keras可识别的常量张量
        self.connection_matrix = K.constant(connection_matrix, dtype=K.floatx())
        self.output_dim = connection_matrix.shape[1]
        self.use_bias = use_bias
        super(MaskedDense, self).__init__(**kwargs)
    
    def build(self, input_shape):
        # 初始化全可训练的权重矩阵，形状和连接矩阵一致
        self.kernel = self.add_weight(
            name='kernel',
            shape=(input_shape[1], self.output_dim),
            initializer='glorot_uniform',
            trainable=True
        )
        
        # 如果需要偏置，初始化可训练的偏置向量
        if self.use_bias:
            self.bias = self.add_weight(
                name='bias',
                shape=(self.output_dim,),
                initializer='zeros',
                trainable=True
            )
        super(MaskedDense, self).build(input_shape)
    
    def call(self, x):
        # 应用掩码：权重矩阵 × 连接矩阵，锁定不需要训练的位置
        masked_kernel = self.kernel * self.connection_matrix
        # 计算输入与掩码后权重的点积
        output = K.dot(x, masked_kernel)
        
        # 如果启用偏置，加上偏置项
        if self.use_bias:
            output = output + self.bias
        return output
    
    def compute_output_shape(self, input_shape):
        # 返回输出形状，适配Keras的模型构建逻辑
        return (input_shape[0], self.output_dim)

使用示例 #

假设你的连接矩阵A是一个NumPy数组，比如3个输入神经元、2个输出神经元，连接关系为：输入0连输出0，输入1连输出0，输入2连输出1：

# 定义连接矩阵
A = np.array([
    [1, 0],
    [1, 0],
    [0, 1]
])

# 构建模型
input_layer = Input(shape=(3,))
# 加入自定义的掩码全连接层
masked_layer = MaskedDense(A, use_bias=True)(input_layer)
model = Model(inputs=input_layer, outputs=masked_layer)

# 编译模型
model.compile(optimizer='adam', loss='mean_squared_error')

关键细节说明 #

• 掩码的作用：在call方法中，masked_kernel = self.kernel * self.connection_matrix这一步是核心——它会把连接矩阵中0的位置对应的权重强制置0，反向传播时这些位置的梯度会自动变为0，因此永远不会被更新。
• 兼容性：这个实现完全适配TensorFlow 1.4和对应的Keras版本，不需要额外依赖。
• 扩展性：如果需要添加激活函数，可以在call方法的最后加上output = self.activation(output)，并在__init__中传入activation参数即可。

这种方案比手动构建大量连接要简洁得多，只需要维护连接矩阵就能灵活调整神经元的连接关系，非常符合你的需求。

内容的提问来源于stack exchange，提问作者RolleRugu