如何在Keras中仅更新BatchNormalization层参数且不训练不改动其他权重

完全可以实现，核心思路是冻结模型所有非BN层的参数，仅开放BN层参数的更新权限，全程不会改动其他层的权重，也不需要做全模型训练，具体操作如下：

• 第一步：冻结全模型所有参数
  先将整个模型所有参数的可训练属性设置为False，保证后续训练流程不会更新这些权重。
• 第二步：单独启用BN层的可训练状态
  遍历模型所有层，识别到BN层后单独将它的参数可训练属性改回True即可。如果你的场景需要同时更新BN层的滑动平均均值、滑动平均方差，不需要调整这两个值的梯度属性，只要保证BN层处于训练模式，这两个值会在前向传播过程中自动更新。

PyTorch 实现示例 #

import torch
import torch.nn as nn

# 替换为你自己搭建好的模型
model = YourModel()

# 冻结全模型所有参数
for param in model.parameters():
    param.requires_grad = False

# 单独开放BN层的参数更新权限
for module in model.modules():
    # 可根据你的实际使用场景调整匹配的BN类型
    if isinstance(module, (nn.BatchNorm1d, nn.BatchNorm2d, nn.BatchNorm3d)):
        # 启用γ、β两个可学习参数的梯度更新
        for param in module.parameters():
            param.requires_grad = True
        # 确保BN层处于训练模式，滑动均值、滑动方差会自动更新
        module.train()

# 后续正常执行前向传播、反向传播即可，只有BN层参数会被更新
optimizer = torch.optim.SGD(model.parameters(), lr=1e-3)

TensorFlow/Keras 实现示例 #

import tensorflow as tf

# 替换为你自己搭建好的模型
model = YourModel()

# 冻结全模型所有参数
model.trainable = False

# 单独开放BN层的参数更新权限
for layer in model.layers:
    if isinstance(layer, tf.keras.layers.BatchNormalization):
        layer.trainable = True

# 编译模型后正常训练即可
model.compile(optimizer='adam', loss='your_loss_function')

如果你不需要更新BN层的滑动均值、滑动方差，仅需要更新γ和β两个可学习参数的话，不需要将BN层切到训练模式，保持推理模式也可以正常更新两个可学习参数。

内容的提问来源于stack exchange，提问作者Ravid Ziv