大样本DataFrame按县分层随机重采样高效实现求助

针对你1000万行、3000个县的大数据场景，推荐两种高效抽样方案，避免内存溢出和性能瓶颈：

方案一：使用dplyr（tidyverse生态） #

利用分组抽样+半连接的方式，兼顾简洁性与性能：

library(dplyr)

# 设置随机种子保证抽样结果可重复
set.seed(123)

# 关联抽样数量与住户ID数据，按县分组抽取指定数量住户
sampled_households <- household.ids %>%
  left_join(household.prop, by = "county.id") %>%
  group_by(county.id) %>%
  # 若该县实际住户数不足指定抽样数，自动取全部（避免报错）
  sample_n(size = min(first(new.households), n()), replace = FALSE) %>%
  ungroup() %>%
  select(household.id, county.id)

# 用半连接过滤原始数据集（比%in%更高效，尤其大数据场景）
total.data <- total.data %>%
  semi_join(sampled_households, by = c("household.id", "county.id"))

方案二：使用data.table（极致性能） #

data.table在超大数据集处理中内存占用更低、运算速度更快，适配你的场景：

library(data.table)

# 设置随机种子
set.seed(123)

# 转换为data.table格式以启用高效操作
setDT(household.ids)
setDT(household.prop)
setDT(total.data)

# 关联数据并按县完成抽样
sampled_households <- household.ids[household.prop, on = "county.id", allow.cartesian = FALSE][
  , .SD[sample(.N, min(new.households, .N), replace = FALSE)], by = county.id
][, .(household.id, county.id)]

# 通过连接过滤原始数据集
total.data <- total.data[sampled_households, on = c("household.id", "county.id"), nomatch = 0]

关键优化说明 #

• 避免内存浪费：用半连接替代%in%，无需生成超大的resampled.ids向量，大幅降低内存占用。
• 精准抽样：按county.id分组，确保不同县的重复住户ID不会被混淆抽样。
• 容错机制：加入min(new.households, n())，避免因该县实际住户数不足指定抽样数导致的报错。
• 可重复性：设置set.seed()保证抽样结果可复现，便于后续验证分析。

内容的提问来源于stack exchange，提问作者YouLocalRUser