如何将使用dplyr的for(){}循环代码改写为data.table格式以提升处理速度

核心优化逻辑 #

• 用data.table::fread替代read_table，IO读取效率提升5-10倍，支持直接指定读取列，无需加载全表后丢弃无用列，同时节省内存和时间
• 取消单独的arrange排序步骤，通过data.table的键匹配合并逻辑，自动按name字段配对，完全满足两个表顺序不一致时的精准匹配需求，排序+合并操作均为C语言底层实现，效率远高于dplyr的R层实现
• 用lapply替代显式for循环，减少R层循环开销，也方便后续扩展多进程并行处理

改写后代码 #

# 加载依赖包
library(data.table)
library(stringr)

# 批量处理所有配对文件，结果存在列表中
result_list <- lapply(temp, function(file_path) {
  # 读取第一个文件，select参数替换为你实际需要的两列的位置，和原col_types定义的位置对应即可
  dt1 <- fread(file = file_path, 
               select = c(1, 20), 
               colClasses = c("character", "factor"),
               col.names = c("name", "class1"))
  # 读取配对的第二个文件
  dt2 <- fread(file = str_remove(file_path, "_automat"), 
               select = c(1, 20), 
               colClasses = c("character", "factor"),
               col.names = c("name", "class2"))
  # 设置匹配键，自动按name排序，直接合并不需要手动对齐顺序
  setkey(dt1, name)
  setkey(dt2, name)
  # 内连接，和你原逻辑排序后一一对应的效果完全一致，因为你确认name完全匹配
  merged_dt <- dt1[dt2, nomatch = 0]
  return(merged_dt)
})

# 如果需要把所有文件的处理结果合并为一个总表，执行下面这行即可
total_dt <- rbindlist(result_list)

额外提速建议 #

• 如果文件数量超过100个，可以将lapply替换为parallel包的多进程并行函数，Linux/Mac下用mclapply，Windows下用parLapply，可充分利用多核CPU性能，进一步缩短运行时间
• 若不需要保留每个文件的单独处理结果，可直接在lapply内部完成后续计算逻辑后再返回，减少不必要的内存占用

内容的提问来源于stack exchange，提问作者Wilson Souza