R语言使用dummy_cols构建回归模型的代码正确性咨询

现有代码的核心问题 #

• 直接删除MONTH时间字段是明显错误：你的数据是2010年1月-2020年4月的月度时序/面板数据，失业率存在极强的长期趋势、季节波动特征，剔除时间维度会直接导致模型遗漏核心解释变量，残差出现严重序列自相关，违反OLS经典假设，系数估计结果有偏。
• 全量变量标准化逻辑错误：你对数据集所有字段（包括0-1取值的虚拟变量、因变量ESTIMATED.CITY.UNEMPLOYMENT）统一做了z-score标准化，会直接导致虚拟变量失去分组解释意义，因变量标准化后回归系数没有实际业务含义。如果要比较不同变量的影响大小，仅需对连续型自变量做标准化即可。
• 无约束stepAIC逐步回归过拟合风险极高：没有提前基于业务逻辑筛选变量，直接把所有字段塞进去跑逐步回归，很容易把样本随机波动识别为显著效应纳入模型，最终结果泛化性极差，换一批样本结论就会完全变化。
• 未考虑数据的聚类嵌套特征：你的样本按7个区域、不同人群组（性别、学术/非学术背景）划分，同一组内的观测不满足独立同分布假设，直接用lm()默认的标准误会导致系数显著性检验结果失真，假阳性率大幅升高。
• 缺少必要的模型诊断环节：跑完模型直接输出回归方程，没有检验多重共线性、异方差、残差正态性、时序自相关等OLS必要前提，无法判断模型结果是否可靠。

适配你数据特征的调整方案 #

• 预处理环节修正：
  • 不要直接删除MONTH字段，从字段中提取年份变量控制长期时间趋势，提取月份分类变量控制季节效应，作为控制变量纳入模型。
  • 保留现有虚拟变量生成逻辑（remove_first_dummy = TRUE可以避免虚拟变量陷阱），调整标准化逻辑：仅对连续型自变量做标准化，分类变量生成的虚拟变量、因变量不做标准化，保证系数可解释。
  • 如果需要分析不同区域、不同人群的失业率异质性，可以补充构造核心解释变量与区域、人群分组的交互项，不要仅依赖逐步回归自动选变量。
• 建模环节修正：
  • 优先基于业务逻辑筛选核心控制变量，再运行双向逐步回归（direction = "both"）精简变量，也可以替换为LASSO回归，通过交叉验证选择最优惩罚系数，过拟合风险远低于无约束stepAIC。
  • 模型拟合完成后，必须计算聚类到区域层面的稳健标准误，修正同一区域内样本相关带来的标准误偏误；如果区域间差异较大，可以直接控制区域固定效应，吸收所有不随时间变化的区域层面混淆因素。
  • 如果需要针对不同性别、不同学历背景的群体做异质性分析，可以做分组回归，或通过交互项检验组间系数差异，不要在全样本回归中依赖逐步回归自动识别异质性。
• 诊断环节补充：
  • 模型拟合后首先做VIF检验，剔除VIF值大于10的高共线性变量；
  • 通过残差-拟合值图检验异方差、Q-Q图检验残差正态性、Durbin-Watson检验判断时序自相关，存在异方差/自相关时对应使用稳健标准误、加入时间滞后项调整；
  • 可预留20%左右的样本作为留出测试集，验证模型在未见过的数据上的拟合效果，确认没有过拟合。

修正后的参考代码 #

# 加载依赖包
library(fastDummies)
library(MASS)
library(lmtest)
library(multiwayvcov)
library(car)
library(equatiomatic)

# 数据预处理
regressionSubset <- cleanData
# 从MONTH字段提取时间控制变量，不要直接删除
regressionSubset$YEAR <- as.numeric(format(regressionSubset$MONTH, "%Y"))
regressionSubset$MONTH_CAT <- as.factor(format(regressionSubset$MONTH, "%m"))
# 仅删除无意义的城市标识字段
regressionSubset$CITY <- NULL
regressionSubset$LOCALITY.NAME <- NULL

# 生成分类变量虚拟变量，select_columns替换为你数据中实际的分类变量名（区域、性别、背景等）
regressionData <- dummy_cols(regressionSubset, 
                             select_columns = c("MONTH_CAT", "REGION", "GENDER", "BACKGROUND_TYPE"),
                             remove_first_dummy = TRUE, 
                             remove_selected_columns = TRUE)

# 筛选需要标准化的连续型自变量（排除虚拟变量、因变量、年份变量）
cont_vars <- setdiff(
  colnames(regressionData),
  c(grep("_", colnames(regressionData), value = TRUE), "ESTIMATED.CITY.UNEMPLOYMENT", "YEAR")
)
# 仅对连续变量做标准化
regressionData[, cont_vars] <- scale(regressionData[, cont_vars])

set.seed(42)
# 构建初始全模型，排除原始MONTH日期格式字段
init_model <- lm(ESTIMATED.CITY.UNEMPLOYMENT ~ . - MONTH, data = regressionData)
# 双向逐步回归筛选变量，比单向逐步更稳妥
step_model <- stepAIC(init_model, trace = FALSE, direction = "both")
# 计算聚类到区域层面的稳健标准误，cluster替换为你数据中的区域标识字段
cluster_vcov <- vcovCL(step_model, cluster = ~ REGION)
# 输出调整标准误后的回归结果
coeftest(step_model, vcov. = cluster_vcov)
# 输出回归方程
extract_eq(step_model, use_coefs = TRUE, wrap=TRUE, terms_per_line = 1)

# 模型诊断
dwtest(step_model) # 时序自相关检验
vif(step_model) # 多重共线性检验
plot(step_model, which = 1) # 残差 vs 拟合值图，检验异方差
plot(step_model, which = 2) # 残差Q-Q图，检验正态性

内容的提问来源于stack exchange，提问作者Tal Itach