Logistic Regression预测报错：测试集存在训练集未出现的因子水平如何解决

该报错由R的因子型变量机制导致：训练模型时仅会记录训练集内出现过的因子水平，测试集出现未训练过的水平时就会触发校验错误，多列存在该问题可通过批量预处理统一解决，可选方案如下：

方案1：统一训练/测试集因子水平（最推荐） #

该方案从数据层面解决问题，适配所有模型，支持批量处理多列因子：

• 若还未划分训练测试集，先对全量数据集的因子列统一设置水平，再做划分：

# 自动识别所有因子列
factor_cols <- names(full_data)[sapply(full_data, is.factor)]
# 统一每列因子水平为全量数据中出现过的所有值
for (col in factor_cols) {
  full_data[[col]] <- factor(full_data[[col]], levels = unique(full_data[[col]]))
}
# 后续再执行train/test切分操作

• 若已经完成数据划分，不想重新切分的情况下，用训练集的因子水平校准测试集，未见过的水平自动转为缺失值，可按需删除或填充：

factor_cols <- names(train_data)[sapply(train_data, is.factor)]
for (col in factor_cols) {
  test_data[[col]] <- factor(test_data[[col]], levels = levels(train_data[[col]]))
}
# 可选：删除包含缺失值的测试样本
test_data <- na.omit(test_data)

方案2：未知水平归为公共分类（保留全部测试样本） #

如果不想删除包含未知水平的样本，可以将训练集未覆盖的水平统一合并为Other公共分类：

factor_cols <- names(train_data)[sapply(train_data, is.factor)]
for (col in factor_cols) {
  # 提取测试集独有的未知水平
  unknown_lv <- setdiff(unique(test_data[[col]]), levels(train_data[[col]]))
  if (length(unknown_lv) > 0) {
    # 测试集未知水平替换为Other
    test_data[[col]][test_data[[col]] %in% unknown_lv] <- "Other"
    # 同步给训练集新增Other水平，保证两端水平一致
    levels(train_data[[col]]) <- c(levels(train_data[[col]]), "Other")
    test_data[[col]] <- factor(test_data[[col]], levels = levels(train_data[[col]]))
  }
}

方案3：框架内置预处理规避 #

如果使用caret/tidymodels之类的建模框架，可在预处理流水线中加入稀有水平合并步骤，从根源避免该问题：

• tidymodels可添加step_other(all_nominal_predictors(), threshold = 0.01)，自动将出现频率低于1%的水平合并为Other
• caret可在trainControl的预处理步骤中设置nzv等参数过滤稀有水平

注意事项 #

• 禁止直接将因子列转为数值型处理，会给分类变量引入错误的线性顺序假设，严重影响逻辑回归的效果
• 优先在探索性分析阶段就提前合并稀有因子水平，避免出现训练集覆盖不到的极端取值
• 如果测试集未知水平的样本占比极低（<1%），也可以直接删除对应测试样本，不影响评估结果的客观性

内容的提问来源于stack exchange，提问作者linnet ann