添加Rescaling层导致TensorFlow模型性能下降问题咨询

你的Rescaling层计算逻辑是正确的（0-255转-1到1的公式无误），但添加后训练无性能提升，大概率是以下几个核心原因：

• 预训练模型输入范围不匹配
  你使用的transfer_model如果是基于ImageNet等数据集预训练的模型，这类模型通常要求输入为0-1范围或者经过特定均值/标准差归一化（比如ImageNet的均值[123.68, 116.779, 103.939]），而非-1到1。当你将输入缩放到-1到1后，预训练层提取的特征分布与它预训练时的分布完全偏离，导致特征失效，后续全连接层无法学到有效信息。
  另外，若之前未加Rescaling时模型是在0-255输入下从头训练的，预训练层（若存在）已适应0-255的输入，突然切换范围会让预训练权重完全不适用。

• 输出层与损失函数的适配偏差
  你输出层使用linear激活（输出logits），若损失函数为SparseCategoricalCrossentropy(from_logits=True)，逻辑上没问题，但输入范围改变后，模型输出的logits分布会与之前完全不同。如果训练时未调整学习率，模型可能陷入局部最优，无法有效更新权重——比如原0-255输入下特征值范围较大，缩放到-1到1后特征值范围缩小，原学习率可能导致权重更新步长过大或过小，引发训练停滞。

• 预训练层冻结状态限制
  如果transfer_model的层处于冻结状态（trainable=False），它无法适配新的输入范围。预训练层的权重基于原始输入范围学习，现在输入变为-1到1，提取的特征完全不符合后续全连接层的需求，而冻结状态下又无法更新权重，自然无法提升性能。

• 数据预处理隐性冲突
  虽然你将Rescaling作为模型层加入，确保了训练与测试的一致性，但如果数据集此前已存在其他预处理（比如已被缩放过一次），叠加该Rescaling层会导致输入范围彻底混乱——比如原本已是0-1的图像，经过1/127.5 -1后会变成-1到0.992，完全偏离预期，导致模型无法正常学习。

• 确认transfer_model的输入要求：查看对应预训练模型的官方文档，严格按照要求做归一化。比如若要求0-1范围，将Rescaling改为scale=1/255.0；若要求均值归一化，改用Normalization层替代Rescaling。
• 调整学习率：若为从头训练的模型，尝试将学习率降至原来的1/10，因为输入范围缩小后梯度量级会变化，过大的学习率易导致训练不稳定。
• 检查预训练层可训练状态：若要适配新输入范围，解冻部分顶层预训练层，让其与全连接层一起进行fine-tune。
• 验证输入范围：训练前取一个batch的输入，经过Rescaling层后打印输出值，确认是否为预期的-1到1范围，排除数据预处理的隐性问题。

内容的提问来源于stack exchange，提问作者Linda Smith