如何禁止卷积权重矩阵中特定元素在训练时更新

PyTorch/TensorFlow等主流深度学习框架都不支持直接为张量的单个元素设置requires_grad=False，可以通过梯度清零+更新后重置值的双重机制实现单个元素固定，具体实现步骤（以PyTorch为例）：

• 步骤1：初始化权重后，给目标位置元素赋值为1

import torch
import torch.nn as nn

# 示例网络
class DemoNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 16, kernel_size=3)
    
    def forward(self, x):
        return self.conv1(x)

model = DemoNet()
# 自定义需要固定的权重位置，顺序为：(输出通道索引, 输入通道索引, 卷积核高索引, 卷积核宽索引)
target_pos = (0, 0, 0, 0)
# 初始赋值为1，关闭梯度计算避免赋值触发计算图异常
with torch.no_grad():
    model.conv1.weight[target_pos] = 1.0

• 步骤2：给卷积权重注册梯度钩子，反向传播时将目标位置的梯度置0，避免梯度更新影响该元素

def fix_target_weight_grad(grad):
    grad[target_pos] = 0.0
    return grad

# 注册梯度钩子，每次反向传播计算梯度后自动触发
model.conv1.weight.register_hook(fix_target_weight_grad)

• 步骤3：训练循环中每次优化器更新参数后，重置目标位置的值为1，避免动量、权重衰减等优化器特性修改该值

optimizer = torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
loss_fn = nn.CrossEntropyLoss()

# 训练周期示例
for epoch in range(训练总epoch数):
    for batch_x, batch_y in 训练数据集加载器:
        optimizer.zero_grad()
        pred = model(batch_x)
        loss = loss_fn(pred, batch_y)
        loss.backward()
        optimizer.step()
        # 每次参数更新后重置目标位置的值，双重保障固定
        with torch.no_grad():
            model.conv1.weight[target_pos] = 1.0

如果使用TensorFlow框架，实现逻辑完全一致，仅对应API写法存在差异即可。

内容的提问来源于stack exchange，提问作者Nikoo_Ebrahimi