基于Sparklyr/Dplyr的Spark大数据集列值频次统计方案问询

针对Spark大数据集，以下是高效实现需求的两种方案，全程基于Spark分布式计算，避免本地拉取数据：

1. 生成各列唯一值汇总表 #

批量提取每列的唯一值，按行对齐后生成宽表，空值自动补NA：

library(sparklyr)
library(dplyr)
library(purrr)

# 假设你的Spark数据集名为spark_df
cols <- colnames(spark_df)

# 为每列生成带行号的唯一值表
unique_tables <- map(cols, function(col_name) {
  spark_df %>%
    select(all_of(col_name)) %>%
    distinct() %>%
    arrange(all_of(col_name)) %>%  # 可选：按值排序
    mutate(row_id = row_number()) %>%
    rename(!!col_name := all_of(col_name))
})

# 全连接所有表，按行号对齐
unique_values_table <- reduce(unique_tables, full_join, by = "row_id") %>%
  select(-row_id)  # 移除行号列

效率说明 #

• 利用Spark分布式计算每列的唯一值，避免循环低效操作
• 全连接仅基于行号，计算成本远低于笛卡尔积关联
• 全程不将大数据拉取到本地R环境，适配超大规模数据集

2. 生成值-列频次交叉表 #

对应Base R table(stack(my_data)) 的效果，通过长表转宽表实现高效统计：

# 宽表转长表，统一收集所有列的值和列名
long_df <- spark_df %>%
  pivot_longer(cols = everything(), names_to = "col_name", values_to = "value")

# 统计每个值在对应列中的出现次数
count_df <- long_df %>%
  group_by(col_name, value) %>%
  tally(name = "freq") %>%
  ungroup()

# 转成宽表：首列为值，其余列为对应原列的频次，缺失频次补0
freq_cross_table <- count_df %>%
  pivot_wider(
    id_cols = value,
    names_from = col_name,
    values_from = freq,
    values_fill = list(freq = 0)
  )

效率说明 #

• 长表聚合是Spark的优势场景，分布式计算频次统计效率极高
• 仅需两次格式转换（宽→长→宽），避免多列单独关联的复杂逻辑
• 自动处理不同列值范围不一致的问题，缺失值频次统一补0

内容的提问来源于stack exchange，提问作者34jbonz