如何实现单个跳跃连接？非层间全连接，而是L1与L2层单个神经元间连接

核心思路 #

单个跳跃连接本质是让层L1中某一神经元的输出，直接作用于层L2中某一神经元的输入，无需覆盖整个层。关键是精准定位这两个神经元的位置，通过修改权重矩阵或手动传递信号完成连接。

具体实现方式 #

1. 手动修改权重矩阵（适用于全连接层） #

以全连接层为例，假设L1是输入维度10、输出维度20的全连接层，L2是输入维度20、输出维度15的全连接层，要实现L1第5个神经元（索引从0开始）到L2第8个神经元的连接：

PyTorch 示例

import torch
import torch.nn as nn

class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.l1 = nn.Linear(10, 20)
        self.l2 = nn.Linear(20, 15)
        
        # 手动设置单个跳跃连接：L1第5个神经元 → L2第8个神经元
        with torch.no_grad():
            # l2.weight形状为(out_features, in_features)，对应位置赋值非零权重
            self.l2.weight[8, 5] = 0.5

    def forward(self, x):
        x1 = torch.relu(self.l1(x))
        x2 = self.l2(x1)
        return x2

TensorFlow/Keras 示例

import tensorflow as tf
from tensorflow.keras.layers import Dense
from tensorflow.keras.models import Model

inputs = tf.keras.Input(shape=(10,))
l1 = Dense(20, activation='relu')(inputs)
l2 = Dense(15)(l1)

model = Model(inputs=inputs, outputs=l2)
# 修改L2权重，对应位置赋值非零权重（l2.weight形状为(in_features, out_features)）
model.layers[2].weights[0][5, 8].assign(0.5)

2. 前向传播中手动叠加信号（更灵活，适配任意层） #

若不想修改权重矩阵，可在前向传播时直接提取L1目标神经元的输出，加到L2目标神经元的输入上：

PyTorch 示例

import torch
import torch.nn as nn

class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.l1 = nn.Linear(10, 20)
        self.l2 = nn.Linear(20, 15)

    def forward(self, x):
        x1 = torch.relu(self.l1(x))
        x2 = self.l2(x1)
        
        # 提取L1第5个神经元的信号，加到L2第8个神经元上
        jump_signal = x1[:, 5]
        x2[:, 8] += jump_signal
        
        return x2

TensorFlow/Keras 示例

import tensorflow as tf
from tensorflow.keras.layers import Dense, Lambda
from tensorflow.keras.models import Model

def add_jump_signal(x):
    x1, x2 = x
    # 提取L1第5个神经元信号，叠加到L2第8个神经元
    jump_signal = x1[:, 5]
    x2 = tf.tensor_scatter_nd_add(
        x2,
        indices=tf.stack([tf.range(tf.shape(x2)[0]), tf.fill(tf.shape(x2)[0], 8)], axis=1),
        updates=jump_signal
    )
    return x2

inputs = tf.keras.Input(shape=(10,))
l1 = Dense(20, activation='relu')(inputs)
l2 = Dense(15)(l1)
outputs = Lambda(add_jump_signal)([l1, l2])

model = Model(inputs=inputs, outputs=outputs)

注意事项 #

• 索引顺序：不同框架的权重矩阵形状有差异（PyTorch全连接层权重为(out_features, in_features)，TensorFlow为(in_features, out_features)），需注意索引对应关系。
• 梯度传递：两种方法均会正常传递梯度，不影响模型训练。
• 场景适配：前向传播叠加信号的方式更灵活，可用于卷积层等非全连接层的单个神经元连接（比如提取卷积层某通道特定空间位置的信号，加到后续层对应位置）。

内容的提问来源于stack exchange，提问作者JobHunter69