OLS模型中预测项位置不同导致系数差异的原因咨询

我在R中运行线性回归时发现，调整预测项a的位置后，回归系数结果发生了变化；在Python的OLS中重复操作，得到了同样的结果。我必须在模型中加入变量a，想知道这是什么原因，以及该怎么解决。

重现代码 #

set.seed(0)

x1 <- rtruncnorm(20, -10, 10)

x2 <- rtruncnorm(20, -10, 10)

a <- rep(c(0,1), 10)

y <- a

fit <- lm(y~ x1 + x2 + a + a:x1 + a:x2);coef(fit)

fit2 <- lm(y~a + x1 + x2 + a:x1 + a:x2);coef(fit2)

系数结果 #

原因分析 #

核心原因是模型存在完全多重共线性：

• 你的模拟数据中y = a，意味着y和a完全线性相关；同时交互项a:x1本质上等于x1在a=1时的值（a=0时该项为0），a:x2同理。
• 当线性回归模型存在完全共线性时，统计软件（R的lm、Python的OLS）会自动丢弃共线的变量，而丢弃规则是按变量进入模型的顺序保留先出现的变量：
  • 在fit中，x1、x2先进入，后续的a:x1、a:x2因为和前面的x1、x2共线（a=1时完全重合），被判定为冗余变量而丢弃，所以a:x1、a:x2的系数为NA；
  • 在fit2中，a先进入，后续的x1、x2因为和a:x1、a:x2共线，被判定为冗余而丢弃，所以x1、x2的系数为NA。
• 本质上两个模型的拟合效果完全一致，只是软件保留的变量子集不同，导致显示的系数有差异。

解决办法 #

1. 简化模型：由于你的模拟数据中y完全由a决定，x1、x2及交互项对模型没有任何解释力，直接用lm(y ~ a)即可达到完美拟合。如果是实际场景中y不完全等于a，但仍存在共线性问题，需要检查变量间的线性关系，移除冗余的共线变量。
2. 明确模型设定：如果你确实需要拟合分组回归（按a的取值区分x1、x2的效应），可以使用lm(y ~ a * x1 + a * x2)的简写形式，这和你当前的模型形式等价，但软件会自动处理共线性问题。如果想强制保留所有变量，需要对变量进行正交化处理，但这会改变系数的实际解释意义，一般不推荐。

内容的提问来源于stack exchange，提问作者imsh