如何使用data.table实现大组/列内多子组同时聚合统计

你当前用的是data.table语法，完全可以通过单次遍历数据完成分性别人数统计，不需要写两条独立筛选命令，对大体量数据集来说性能提升非常明显——原写法会两次扫描全表、两次执行分组聚合，单次实现只需要扫一次数据，没有多余IO和计算开销。

最优方案（data.table原生，速度最快） #

直接把性别字段加入分组维度，再通过内置的dcast转成你需要的宽表格式，结果和你分开统计的结构完全一致：

# 单次执行双字段分组，仅扫描一次全表
DE_gender_stat <- dcast(
  DE_2016small[, .N, by = .(Residence_Addresses_CensusTract_2016, Gender_2016)],
  Residence_Addresses_CensusTract_2016 ~ Gender_2016,
  value.var = "N",
  fill = 0 # 某普查区无对应性别人群时自动填0，避免出现NA
)
# 重命名列匹配你需要的字段名
setnames(DE_gender_stat, old = c("M", "F"), new = c("Males", "Females"))

这个方案全链路都是data.table的C优化实现，千万级行规模的数据处理速度比分开统计+后续表连接快数倍，内存占用也更低，最适配你的大数据场景。

dplyr等价写法 #

如果你更习惯tidyverse的语法逻辑，也可以用下面的实现，逻辑同样是单次分组完成计数：

library(dplyr)
library(tidyr)

DE_gender_stat <- DE_2016small %>%
  count(Residence_Addresses_CensusTract_2016, Gender_2016) %>%
  pivot_wider(
    names_from = Gender_2016,
    values_from = n,
    values_fill = 0
  ) %>%
  rename(Males = M, Females = F)

处理超大数据集时优先选前面的data.table方案，计算速度和内存效率都明显优于dplyr实现。

和原写法的核心差异 #

• 避免了两次全表扫描、两次分组计算的冗余开销
• 不需要额外写merge/left_join拼接两个统计结果，省掉了表连接的开销
• 自动处理单性别普查区的缺失值，不会因为匹配不到出现空值

内容的提问来源于stack exchange，提问作者TeaNoMilk