使用归一化特征训练的线性模型输入全零特征得到非零结果原因咨询

你遇到的现象是两个操作逻辑叠加的必然结果，和模型拟合残差没有必然关联：

• 你对标签y做了带均值移除的归一化：y_norm = (y - y_mean) / y_std，因此预测值的反归一化逻辑固定为预测值 = 归一化预测值 * y_std + y_mean。哪怕归一化空间的预测值为0，反归一化后的结果也等于训练集标签的均值y_mean，只有当y_mean恰好为0时结果才会是0。
• 你输入的“所有特征为0”是原始特征空间的0，经过StandardScaler变换后得到的归一化特征并不是全零数组：StandardScaler的变换规则为(原始值 - 训练集特征均值) / 训练集特征标准差，原始值为0时对应的归一化值为-训练集特征均值/训练集特征标准差，代入无截距线性模型计算得到的归一化预测值本身就不为0，反归一化后自然也不会是0。

补充说明 #

你观察到“仅在线性模型存在残差、拟合效果不完美时出现”属于误解，哪怕移除噪声让模型完全拟合：

1. 若输入归一化特征空间的全0（即原始特征等于训练集特征均值），归一化预测值为0，反归一化结果仍然是y_mean，不会为0；
2. 若输入原始特征全0，归一化后的特征本身不为0，代入完美拟合的模型得到的预测值同样不会是0。

如果希望归一化特征全0时原始空间的预测值也为0，需要同时满足：

• 拟合模型时不对标签做均值中心化归一化，或手动将训练集标签均值调整为0；
• 拟合带截距项的线性模型，且强制截距项为0。

内容的提问来源于stack exchange，提问作者Sharma