R语言如何保存Random Forest模型并逐文件批量应用测试

你提到的两个需求在R中都可以稳定实现，具体操作方案如下：

你训练得到的caret/randomForest模型对象可以直接序列化存储到本地，调用时无需重新加载任何训练数据，操作步骤如下：

• 训练完模型后，删除模型中保存的训练数据副本（可选，可大幅减小模型文件体积，不影响预测功能）：

  model$trainingData <- NULL
  

• 保存模型到本地：

  saveRDS(model, file = "rf_trained_model.rds")
  

• 后续需要调用模型时，直接读取本地文件即可：

  loaded_model <- readRDS("rf_trained_model.rds")
  

*注意：如果训练时你对输入特征做了标准化、独热编码等预处理，需要把预处理的转换规则（比如caret的preProcess对象）也单独用saveRDS存储，预测时需要给测试数据做相同的预处理操作。

你提到的数十万小文件场景完全可以通过逐文件读取+预测+追加写入结果的方式实现，全程仅需保留单个文件的内存占用，不会超出RAM容量，参考代码如下：

# 加载已保存的模型
loaded_model <- readRDS("rf_trained_model.rds")
# 加载读取文件所需的包
library(data.table)

# 步骤1：获取所有测试csv文件的路径，自行替换文件夹路径
test_file_list <- list.files(
  path = "你的测试文件存放文件夹路径",
  pattern = "\\.csv$",
  full.names = TRUE,
  recursive = FALSE # 如果有子文件夹需要读取就设为TRUE
)

# 步骤2：逐文件处理
for (single_file in test_file_list) {
  # 读取单个测试文件
  test_df <- fread(single_file)
  # 生成预测结果，需保证test_df的特征字段和训练时完全一致
  pred_res <- predict(loaded_model, newdata = test_df)
  # 组装当前文件的结果，可自行选择是否保留原始测试数据字段
  output_df <- cbind(
    file_name = basename(single_file), # 加文件名方便后续溯源
    test_df,
    predict_result = pred_res
  )
  # 追加写入到总结果文件，不需要在内存中累积所有结果
  fwrite(
    output_df,
    file = "all_predict_results.csv",
    append = TRUE, # 首次写入后每次追加
    bom = TRUE # 避免中文文件名乱码，无中文可删除
  )
  # 主动清理当前文件的内存占用，可选
  rm(test_df, pred_res, output_df)
  gc()
}

注意事项 #

• 必须保证测试文件的特征字段名、字段类型和训练时使用的特征完全匹配，否则预测函数会报错
• 可在循环中加入tryCatch逻辑跳过格式错误的文件，避免任务中断
• 如果总结果文件太大，也可以按天/按批次输出多个结果文件，后续再按需合并

内容的提问来源于stack exchange，提问作者ML33M