R中处理1500万行Tibble时apply效率过低的优化求助

兄弟，1500万行的数据集用两次apply逐元素处理，慢到跑一天太正常了——毕竟要折腾4.5亿个元素呢！给你几个亲测有效的高效方案，能把速度提上去几个数量级：

方案1：Base R向量化操作（最快最省依赖） #

直接利用R的向量化字符串函数和行级聚合，完全不用额外包：

# 先提取需要检查的11-40列
target_cols <- rawData[, 11:40]

# 对每列做向量化前缀匹配：一次性处理整列1500万行
prefix_matches <- sapply(target_cols, function(col) {
  substr(col, 1, 3) %in% c("295", "296", "297", "298", "299")
})

# 按行统计匹配次数，转成0/1向量（有匹配则1，无则0）
result <- as.integer(rowSums(prefix_matches) > 0)

为什么快？ 这里sapply是对整列做批量操作，substr和%in%都是向量化的底层C实现，比逐元素循环快N倍；rowSums也是R内置的高度优化函数，比apply(1, sum)快得多。

方案2：用data.table极致优化（适合超大数据集） #

如果你的内存吃紧，data.table的内存效率和操作速度会更出色，先把tibble转成data.table再处理：

library(data.table)

# 转成data.table（tibble转这个几乎瞬间完成）
dt <- as.data.table(rawData)

# 针对11-40列做匹配，然后按行判断是否有匹配
result <- dt[, 
             as.integer(rowSums(sapply(.SD, function(col) {
               substr(col, 1, 3) %in% c("295", "296", "297", "298", "299")
             })) > 0),
             .SDcols = 11:40]

优势：data.table会自动优化内存使用，避免不必要的复制，处理超大数据集时比base R更稳。

方案3：Tidyverse风格（代码更简洁） #

如果你习惯用dplyr和stringr，str_starts可以直接匹配多个前缀，代码可读性拉满：

library(dplyr)
library(stringr)

result <- rawData %>%
  select(11:40) %>%
  # 对所有列检查前缀是否匹配目标列表
  mutate(across(everything(), ~str_starts(., "^(295|296|297|298|299)"))) %>%
  # 行求和后转成0/1
  rowSums() %>%
  {as.integer(. > 0)}

亮点：str_starts用正则表达式^(295|296|297|298|299)直接匹配开头，代码更直观，而且也是向量化操作，速度不会比base R慢太多。

核心优化思路 #

所有方案都避开了逐元素循环（你的原始apply(c(1,2), ...)就是逐元素处理，这是R性能的大忌），改用整列批量操作+高效行级聚合，把计算量从4.5亿次单元素操作降到30次整列操作+1次行级求和，速度自然会爆炸式提升。

内容的提问来源于stack exchange，提问作者user1357015