Keras回归中如何对tf.data构建的PrefetchDataset标签进行归一化？

核心逻辑和你已经实现的特征归一化完全一致，且全程流式处理不会全量加载数据进内存，适配PrefetchDataset的使用场景。

具体实现步骤 #

• 第一步：初始化标签统计量适配的归一化层。因为你创建数据集时指定了label_name='labels'，数据集的每个迭代元素结构为(特征字典, 标签张量)，可以直接提取标签流做适配，和特征处理的逻辑完全打通：

# 注意：TensorFlow 2.6+ 可直接从tf.keras.layers导入Normalization，老版本需从tf.keras.layers.experimental.preprocessing导入
label_normalizer = tf.keras.layers.Normalization()
# 流式遍历数据集提取标签，计算全局均值、方差，不会全量加载进内存
label_stream = dataset.map(lambda feature_dict, label: label)
# 适配统计值，和特征归一化的adapt逻辑完全一致
label_normalizer.adapt(label_stream)

注：你原代码里使用的preprocessing.Normalization是TensorFlow早期版本的写法，2.6.0之后该层已整合到tf.keras.layers主模块下，不需要额外导入preprocessing包，否则会触发模块找不到的报错。

• 第二步：对原数据集做管线映射，替换原标签为归一化后的值：

def map_to_normalized_label(feature_dict, original_label):
    # 仅对标签做变换，保持原特征的结构不变，可直接对接你已写好的特征预处理流程
    return feature_dict, label_normalizer(original_label)
# 生成处理完成的训练数据集
train_dataset = dataset.map(map_to_normalized_label)

• 第三步：直接用处理好的train_dataset喂给模型训练即可。

关键注意事项 #

• 这个标签归一化层绝对不要加入模型的Sequential结构里，它仅用于数据管线的标签变换。模型训练时学习的是归一化标签空间的映射关系，损失、梯度计算都在归一化尺度下进行，能大幅提升大尺度标签的训练稳定性。
• 推理时需要对模型的输出做反归一化，才能得到和原始标签同尺度的预测值，反变换可直接复用适配时存的统计值：

def denormalize_prediction(normalized_output):
    # 基于适配好的均值、方差反向换算回原始标签尺度
    return label_normalizer.mean + normalized_output * tf.sqrt(label_normalizer.variance)

• 保存模型部署时，记得把label_normalizer的均值、方差数值一同持久化，避免推理时无法完成反归一化转换。
• 整个标签统计值计算、数据集变换过程都是基于tf.data的流式管线实现的，不会因为数据量过大触发内存溢出，和你用make_csv_dataset处理大文件的设计思路完全匹配。

内容的提问来源于stack exchange，提问作者Benares