在R中构建含虚拟变量的线性回归时，如何解决district列的多重共线性？

你遇到的多重共线性问题，本质是截距项与全部虚拟变量之间的完全共线性：当你把district转成字符串（R会自动将字符型变量视为因子），如果保留默认的截距项，同时又试图纳入所有district的虚拟变量（比如手动生成了5个district的哑变量），就会出现这个问题——因为所有哑变量的和恒等于全1的截距向量，导致回归矩阵不可逆。

解决方法很简单，两种选择：

• 方法1：保留截距项，使用参照组（推荐）
  不用手动处理字符串，直接让R把district当作因子处理，lm会自动生成k-1个虚拟变量（k是district的类别数，这里是5，所以生成4个），以第一个类别（district=1）作为参照组，这样就不会有共线性。
  代码示例：

  # 直接在公式里转换为因子
  model <- lm(votepercent ~ votebuypercent + factor(district), data = votedata)
  
  # 或者先把district转为因子列，再跑回归
  votedata$district <- factor(votedata$district)
  model <- lm(votepercent ~ votebuypercent + district, data = votedata)
  

  结果里的district系数，代表对应district相对于参照组（district=1）的差异，解释起来更直观。

• 方法2：去掉截距项，纳入所有district虚拟变量
  如果想直接得到每个district的绝对系数，而不是相对参照组的差异，可以在公式里去掉截距项（加0或-1），这样lm会生成所有5个district的虚拟变量，不会出现共线性。
  代码示例：

  model <- lm(votepercent ~ 0 + votebuypercent + factor(district), data = votedata)
  # 或者用-1代替0
  model <- lm(votepercent ~ votebuypercent + factor(district) - 1, data = votedata)
  

  这种情况下，每个district的系数就是该区域的基础效应，没有参照组。

另外，不用纠结把district转成字符串，直接转成因子（factor）是R里处理分类变量做回归的标准方式，lm会自动帮你处理虚拟变量的生成，避免手动操作带来的共线性问题。

内容的提问来源于stack exchange，提问作者Jose Rafael Jereza