R data.table无需计算全量cube获取含小计的高频列值组合

核心思路 #

采用剪枝式逐层聚合逻辑，避免生成全量cube：

• 任意子维度组合的频率一定小于等于它的父层级小计组合的频率，因此只需要逐层计算不同维度数的分组聚合，每一步仅保留频率靠前的少量候选
• 当更高维度的最大频率已经低于你要的前100条的最低频率时，直接终止计算，无需处理剩余高维度组合

实现代码 #

library(data.table)
set.seed(1107)
# 模拟你的业务数据表，可直接替换为实际数据
dt <- data.table(
  col1=sample(1:10,1000,TRUE),
  col2=sample(1:20,1000,TRUE),
  col3=sample(1:5,1000,TRUE),
  col4=sample(1:15,1000,TRUE),
  col5=sample(1:33,1000,TRUE)
)
group_vars <- names(dt) # 所有需要计算的列
target_top <- 100 # 需要返回的最高频组合数
candidate_k <- target_top * 3 # 候选池大小，设为目标的2-3倍可保证结果无遗漏

all_candidates <- data.table()

for (dim_num in 0:length(group_vars)) {
  # 0维组合：全量总计，固定为最高频项
  if (dim_num == 0) {
    total_row <- dt[, .(N = .N)]
    total_row[, (group_vars) := NA]
    all_candidates <- rbind(all_candidates, total_row)
    next
  }
  # 生成当前维度数的所有列组合
  dim_combs <- combn(group_vars, dim_num, simplify = FALSE)
  layer_result <- list()
  
  for (comb in dim_combs) {
    # 仅针对当前列组合做分组聚合
    tmp <- dt[, .(N = .N), by = comb]
    # 补全非分组列为NA，格式对齐cube输出
    other_cols <- setdiff(group_vars, comb)
    tmp[, (other_cols) := NA]
    layer_result[[length(layer_result) + 1]] <- tmp
  }
  # 合并当前层结果，仅保留前K个高频候选，避免数据膨胀
  layer_top <- rbindlist(layer_result)[order(-N)][1:candidate_k]
  all_candidates <- rbind(all_candidates, layer_top)
  
  # 提前终止判断：当前层最高频已经低于现有候选的第target_top名，更高维度不可能进前target_top
  if (nrow(all_candidates) >= target_top) {
    current_threshold <- all_candidates[order(-N)][target_top, N]
    if (layer_top[, max(N)] < current_threshold) {
      break
    }
  }
}
# 去重后取最终前100条，格式和原cube输出完全一致
final_result <- unique(all_candidates)[order(-N)][1:target_top]
print(final_result)

性能优势 #

• 内存占用极低：不会生成2^30量级的全量cube，每一步仅保留几百条候选数据
• 计算速度快：提前终止逻辑可以跳过绝大多数高维度组合的计算，30列的场景也可以快速出结果
• 结果准确：只要候选池大小设置合理，输出结果和全量cube计算的Top100完全一致

内容的提问来源于stack exchange，提问作者Martin