线性回归虚拟变量陷阱解析：多类别属性编码后为何需丢弃一个变量？

嘿，这个问题问到点子上了——很多刚入门线性回归的朋友都会在虚拟变量这里踩坑，我给你一步步讲明白：

先看个具体例子 #

假设你的数据集里state有三个类别：New York、California、Florida。如果我们给每个类别都做一个虚拟变量：

• x1：1代表New York，0代表其他
• x2：1代表California，0代表其他
• x3：1代表Florida，0代表其他

这时候你会发现一个必然的等式：x1 + x2 + x3 = 1，也就是说这三个变量完全线性相关——知道其中两个的值，第三个就被死死确定了。这就是麻烦的源头。

什么是虚拟变量陷阱？ #

简单说，虚拟变量陷阱就是当你把分类变量的所有类别都转化为虚拟变量并全部放进线性回归模型时，会触发完全多重共线性的问题。

线性回归有个核心假设：自变量之间不能存在完全的线性依赖关系。一旦出现这种情况，模型的设计矩阵会变成奇异矩阵——没法计算它的逆矩阵，而线性回归的参数估计（比如最小二乘法）恰恰需要用到设计矩阵的逆。结果就是模型根本无法给出唯一的参数解，相当于“卡壳”了。

为什么丢弃一个变量就能规避？ #

当我们丢掉其中一个虚拟变量（比如x3），剩下的x1和x2就没有线性依赖关系了：

• x1=1 → 代表New York
• x2=1 → 代表California
• x1=0且x2=0 → 自动对应被丢掉的Florida（也就是我们选的基准类别）

这时候，每个保留的虚拟变量的系数，都代表该类别相对于基准类别的差异——既完整保留了所有分类信息，又满足了线性回归的假设，模型就能正常估计参数了。

本质上，我们是用基准类别来“承载”其他类别的参照基准，不需要额外的变量来表示它，因为其他变量的组合已经能唯一确定它的存在。

内容的提问来源于stack exchange，提问作者Chirag Jain