Python回归分析中虚拟变量系数异常问题求助

问题根源 #

你遇到的是完全多重共线性问题：当你把四个披萨类别对应的虚拟变量全部加入模型，再加上OLS默认的常数项时，四个虚拟变量的取值之和永远等于1（每个样本只会属于其中一个类别，对应虚拟变量取1，其余取0，总和为1）。这就造成了自变量和常数项之间存在严格的线性关系：Classic + Veggie + Supreme + Chicken = 1，等价于1 - Classic - Veggie - Supreme - Chicken = 0。这种情况下，OLS模型的设计矩阵是奇异的（不可逆），无法正常计算系数，因此会出现极端异常的系数值。

解决方法 #

有两种标准方案可以避免这个问题，结果等价只是解释逻辑不同：

• 方案一：保留常数项，移除一个虚拟变量
  选择其中一个类别作为基准组，移除其对应的虚拟变量，剩下的变量系数代表对应类别与基准组在total_price上的差异。你手动移除一个变量后回归正常就是这个逻辑，用pd.get_dummies(data["pizza_category"], drop_first=True)可以自动帮你完成这一步（默认移除第一个类别），这是最常用的方式。
• 方案二：移除常数项，保留全部四个虚拟变量
  此时每个虚拟变量的系数直接代表对应类别的total_price均值。只需在OLS模型中设置fit_intercept=False即可实现，示例代码：

  import statsmodels.api as sm
  X = pd.get_dummies(data["pizza_category"], drop_first=False)
  y = data["total_price"]
  model = sm.OLS(y, X, fit_intercept=False)
  results = model.fit()
  print(results.summary())
  

关键注意点 #

绝对不要同时保留全部虚拟变量和常数项，这是虚拟变量回归的基本禁忌，必然会触发完全多重共线性问题。

内容的提问来源于stack exchange，提问作者Mattia