使用StandardScaler缩放训练数据后lin_reg.coef_返回系数过高问题咨询

问题成因 #

该现象核心是训练集特征多重共线性导致的普通线性回归数值不稳定，触发条件和随机拆分、特征缩放的叠加影响有关：

1. 当random_state=1的拆分结果中，后12个二值特征存在完美/接近完美的线性相关关系（最常见的原因是多分类变量做独热编码时保留了全部k个特征列，未删除基准列，天然存在共线性），此时普通线性回归的解析解计算需要对奇异矩阵X^T X求逆，数值计算误差会被放大，出现量级异常的系数。
2. StandardScaler会将所有特征的标准差缩放到1，会放大低方差共线性特征的数值影响，是该问题的触发条件：未缩放时共线性的数值扰动还未达到让系数爆炸的阈值，缩放后扰动被放大，就出现了异常系数。
3. 你观察到的仅部分二值系数异常，刚好对应共线性涉及的特征范围，连续特征和第一个二值特征未参与共线性关系，因此系数正常。

解决方法 #

• 检查独热编码逻辑：如果后13个二值特征来自一个或多个分类变量的独热编码，每个分类变量保留k-1个特征列（删除1个基准类别列），从根源消除完美共线性。
• 增加共线性校验逻辑：每次训练集拆分后，先计算后12个二值特征的方差膨胀因子（VIF），或直接检查每个特征的训练集方差，删除方差接近0的冗余特征，再做后续缩放和训练。
• 替换带正则化的线性模型：普通最小二乘线性回归无正则项，天生对共线性敏感，换成Ridge（L2正则）或Lasso（L1正则）模型，默认的正则项即可直接修正共线性导致的系数爆炸问题，无需修改现有拆分、缩放流程。
• 验证缩放稳定性：每次拟合StandardScaler后检查scaler.scale_属性，若存在接近0的取值，说明对应特征在训练集内无区分度，直接丢弃该特征即可。

内容的提问来源于stack exchange，提问作者mika_d98