如何优化循环内带双输入的R函数？新手求效率提升方案

Hey Jasper, 作为过来人，我太懂这种盯着R的进度条一动不动的焦虑了——1850万行的数据集，普通数据框的操作确实会慢到让人怀疑人生，但只要踩对几个优化点，速度能提升一个量级！我结合实战经验给你捋几个最见效的方向：

一、先换个高效的数据结构：别再用普通数据框了 #

R原生数据框处理百万级以上数据天生乏力，优先选这两个工具：

• data.table（首推）：这是专门为大数据设计的包，语法虽然有点“反tidyverse”，但速度和内存效率碾压普通数据框。比如你要算住院时长超7天的患者占比，代码大概是这样：

  library(data.table)
  # 原地把普通数据框转成data.table（不额外占内存）
  setDT(Extract)
  # 假设住院时长列叫length_of_stay
  over7_ratio <- Extract[, .(count = .N), by = .(length_of_stay > 7)][V1 == TRUE, count] / nrow(Extract)
  

  这里.N是data.table内置的行数统计函数，比nrow()快好几倍；by = .(length_of_stay > 7)直接按条件分组统计，全程向量化操作，没有循环开销。
• dplyr + Arrow：如果你习惯tidyverse的语法，用Arrow作为后端可以分块处理数据，不用把1850万行全塞进内存：

  library(dplyr)
  library(arrow)
  # 先把数据存成Parquet格式（比CSV/RDS快N倍，还省内存）
  write_parquet(Extract, "Extract.parquet")
  # 用Arrow打开数据集（按需加载，不占满内存）
  over7_ratio <- open_dataset("Extract.parquet") %>%
    mutate(over7 = length_of_stay > 7) %>%
    summarize(total = n(), over7_count = sum(over7)) %>%
    mutate(ratio = over7_count / total) %>%
    pull(ratio)
  

  这种方式尤其适合内存不足的电脑，完全不会出现“内存溢出”的报错。

二、砍掉不必要的操作：给代码“减负” #

新手很容易做一些无意义的重复计算，在大数据集里这些开销会被无限放大：

• 绝对别用for循环逐行处理！哪怕是apply系列函数也不行——一定要用向量化操作（上面的data.table和dplyr都是向量化的，底层是C/C++实现，比R循环快几十倍）。
• 提前过滤没用的列：如果你只需要length_of_stay这一列来计算占比，先把其他10列删掉，能大幅减少内存占用和计算量：

  # data.table方式
  Extract <- Extract[, .(length_of_stay)]
  # dplyr方式
  Extract <- Extract %>% select(length_of_stay)
  

三、压缩数据类型：减少内存压力 #

11个变量里大概率有很多可以压缩的类型，内存占用少了，计算速度自然就快了：

• 把分类变量（比如性别、科室）从字符型转成因子：Extract$department <- as.factor(Extract$department)，因子比字符型占内存少70%以上。
• 把数值型列转成更小的类型：比如住院时长如果是整数，用as.integer(Extract$length_of_stay)代替默认的numeric，内存直接减半。
• 用skimr包检查内存情况：library(skimr); skim(Extract)，能清晰看到每列的内存占用，针对性优化。

四、关于你的第二项统计（虽然你没写完） #

不管是按患者分组统计，还是计算其他指标，核心思路都是：尽量少加载数据、用向量化/分块处理、选高效的数据结构。比如如果是按患者ID分组统计平均住院时长，data.table的by = patient_id或者dplyr的group_by(patient_id)都能秒出结果，绝对不要自己写循环。

内容的提问来源于stack exchange，提问作者Jasper Clouting