如何在TensorFlow中获取BatchNormalization的均值和方差变量

我来分享下在TensorFlow里处理BatchNormalization（BN）均值和方差的实用方法，不管是手动实现BN逻辑还是用官方内置层，都能轻松搞定：

一、手动实现BN训练阶段的前向传播 #

如果你想手动实现BN的前向逻辑（比如你提供的numpy风格代码），可以参考下面的实现，这里能直接拿到当前batch的均值和方差：

import numpy as np

def batchnorm_forward(X, gamma, beta):
    # 计算当前batch的均值（按特征维度，axis=0）
    mu = np.mean(X, axis=0)
    # 计算当前batch的方差
    var = np.var(X, axis=0)
    # 归一化，加1e-8防止除零
    X_norm = (X - mu) / np.sqrt(var + 1e-8)
    # 缩放和平移得到最终输出
    out = gamma * X_norm + beta
    # 保存中间变量，方便反向传播或后续处理
    cache = (X, X_norm, mu, var, gamma, beta)
    # 返回输出、缓存、当前batch的均值和方差
    return out, cache, mu, var

调用这个函数时，返回的mu和var就是当前训练batch的均值和方差，训练阶段每次迭代都能直接拿到这两个值。

二、推理阶段：使用全局均值和方差 #

推理阶段不能用当前输入batch的均值方差，得用训练阶段积累的全局滑动平均均值和方差，这里分两种情况：

1. 手动维护全局统计量 #

如果是手动实现BN，你需要在训练过程中自己维护滑动平均的均值和方差：

# 初始化全局均值和方差（维度对应输入的特征数）
moving_mean = np.zeros(shape=X.shape[1])
moving_variance = np.zeros(shape=X.shape[1])
decay = 0.9  # 衰减系数，通常取0.9或0.99

# 训练迭代中，每次前向传播后更新滑动平均
for X_batch in training_data:
    out, cache, mu, var = batchnorm_forward(X_batch, gamma, beta)
    # 更新全局均值和方差
    moving_mean = decay * moving_mean + (1 - decay) * mu
    moving_variance = decay * moving_variance + (1 - decay) * var

# 推理阶段，用全局均值和方差做归一化
def batchnorm_inference(X, gamma, beta, moving_mean, moving_variance):
    X_norm = (X - moving_mean) / np.sqrt(moving_variance + 1e-8)
    out = gamma * X_norm + beta
    return out

2. 使用TensorFlow内置BN层（更推荐） #

TensorFlow的官方BatchNormalization层会自动帮你维护全局的moving_mean和moving_variance，训练完成后直接通过层的属性就能获取：

import tensorflow as tf

# 定义BN层
bn_layer = tf.keras.layers.BatchNormalization()

# 先让层在训练模式下处理训练数据（或完成整个模型的训练流程）
X_train = tf.random.normal((100, 32))
bn_layer(X_train, training=True)  # training=True表示进入训练模式

# 获取训练积累的全局均值和方差
global_mean = bn_layer.moving_mean.numpy()
global_var = bn_layer.moving_variance.numpy()

print("全局均值：", global_mean)
print("全局方差：", global_var)

这种方式不用手动维护滑动平均，TensorFlow会自动处理训练时的统计量积累，非常省心。

内容的提问来源于stack exchange，提问作者harmegiddo