深度学习模型重训练时是否需要对训练数据重新执行标准化处理？

首先分两种场景给出明确结论：

• 场景1：仅用新数据做增量训练，不合并历史数据全量重训
  必须直接沿用首次训练拟合好的StandardScaler对象，无需重新拟合。
  原因：你的Keras模型学习到的权重规律，完全适配首次标准化时的特征数值空间。如果给新数据用重新拟合的scaler，会导致输入特征的分布和模型训练时的分布完全不匹配，原有权重直接失效，推理精度会出现大幅下跌。
  即使新数据存在超出原始数据集最大值/最小值的点也完全没有问题，标准化后得到的超出[0,1]区间的数值，深度学习模型完全可以正常处理，不会影响效果。
• 场景2：每次重训练会合并所有历史数据+新的增量数据从头训练
  可以选择重新拟合StandardScaler，用全量最新数据的均值和标准差做标准化处理。
  原因：这种模式下相当于完整跑一次全新的训练流程，模型会基于最新的全量数据特征分布从头学习权重，不存在新旧分布不匹配的问题，还能把新数据的分布特征纳入预处理规则，反而更适配当前的数据规律。

补充注意：如果你有线上推理的需求，不管采用哪种重训模式，线上部署的预处理scaler必须和当前上线版本模型训练时用的scaler完全一致，这是预处理流程的硬性要求。

内容的提问来源于stack exchange，提问作者Marc Henry Saad