如何高效从dataframe选取指定前缀变量随机子集并保留其他变量

你的核心需求很明确：在超大规模数据框中，既要完整保留所有非var.w_开头的变量，又要随机抽取指定数量的var.w_前缀变量，同时还要保证操作效率——毕竟百万级变量的场景下，任何冗余操作都会拖慢速度。

你之前的代码只提取了随机选中的var.w_变量，漏掉了其他变量，我们可以通过分离列名再合并的方式解决，而且全程用base R的高效操作，完全避开性能瓶颈：

分步实现（可读性优先） #

# 1. 提取所有非var.w_开头的列名，这部分要完整保留
non_w_cols <- setdiff(names(sampleDT), grep("^var\\.w_", names(sampleDT), value = TRUE))

# 2. 提取所有var.w_开头的列名，随机选5个（实际场景替换成7500即可）
selected_w_cols <- sample(grep("^var\\.w_", names(sampleDT), value = TRUE), 5)

# 3. 合并两类列名：先保留非目标变量，再加上随机选中的目标变量
final_cols <- c(non_w_cols, selected_w_cols)

# 4. 高效提取列——base R的[ ]索引是处理大规模数据最快的方式之一
sampleDT_final <- sampleDT[final_cols]

简洁版（代码更紧凑） #

如果觉得分步太啰嗦，可以把逻辑合并成一行，效率完全一致：

sampleDT_final <- sampleDT[
  c(
    setdiff(names(sampleDT), grep("^var\\.w_", names(sampleDT), value = TRUE)),
    sample(grep("^var\\.w_", names(sampleDT), value = TRUE), 5)
  )
]

关键细节说明 #

1. 正则表达式的^很重要：用^var\\.w_确保只匹配以var.w_开头的变量，避免误匹配到中间包含该字符串的变量（比如abc_var.w_123）。
2. 为什么用base R？：在百万级变量的场景下，grep、setdiff和[ ]都是R底层的向量操作，比tidyverse的mutate_at等函数轻量得多，不会产生额外的内存开销或性能损耗。
3. 列顺序可调整：如果需要把随机选中的var.w_变量放在前面，只需要调换c(non_w_cols, selected_w_cols)的顺序即可，完全不影响结果。

测试你提供的sampleDT，运行后会得到包含所有非var.w_变量（n、r、p、group、treat、c1、c2）加上5个随机var.w_变量的数据框，完全符合需求。

内容的提问来源于stack exchange，提问作者Krantz