能否固定tfpl.IndependentNormal的mean/var参数？仅训练分布均值固定方差如何实现

这个需求是概率回归场景下的常见需求，目前有两种成熟可落地的实现思路：

方法1：单独输出均值参数，硬编码固定方差（更推荐） #

直接让最后一个可训练层仅输出正态分布的均值，之后在分布构造层直接指定固定的方差值即可，示例代码如下：

import tensorflow as tf
import tensorflow_probability as tfp
tfd = tfp.distributions

# 自定义固定方差值，可根据需求调整
FIXED_STD = 1.0

# 构建模型
model = tf.keras.Sequential([
    # 此处替换为你自己的骨干网络结构
    tf.keras.layers.Dense(64, activation='relu', input_shape=(10,)),
    tf.keras.layers.Dense(32, activation='relu'),
    # 最后一个可训练层仅输出分布均值，输出维度和目标维度一致
    tf.keras.layers.Dense(1),
    # 构造IndependentNormal分布，直接传入固定的scale参数
    tfp.layers.DistributionLambda(lambda loc: tfd.Independent(
        tfd.Normal(loc=loc, scale=FIXED_STD),
        reinterpreted_batch_ndims=1
    ))
])

该方法全程不会产生方差相关的可训练参数，无需额外处理参数冻结逻辑，实现最简单也不容易出问题。

方法2：冻结现有IndependentNormal层的方差参数 #

如果你已经基于默认的IndependentNormal层完成了模型搭建，不想调整结构，可以手动把方差对应的可训练参数设置为不可训练：

import tensorflow as tf
import tensorflow_probability as tfp

# 原有输出层定义，以输出1维正态分布为例
normal_layer = tfp.layers.IndependentNormal(1)

# 遍历层的可训练参数，找到方差对应的参数设置为不可训练
for param in normal_layer.trainable_variables:
    # 不同TFP版本参数命名可能有差异，可先打印所有参数名确认
    if 'scale' in param.name or 'std' in param.name:
        param.trainable = False

注意事项 #

训练前可先打印输出层的trainable_variables确认参数冻结状态，训练过程中也可以随机取一批样本推理，打印分布的scale属性确认数值始终为你设定的固定值。
两种方案的损失函数都可以沿用原来的负对数似然损失，不需要做额外调整。

内容的提问来源于stack exchange，提问作者pseudo_coder