Spark DataFrame提取列唯一值：哪种方法（如distinct/groupby）最高效？

如果你的需求只是提取某列的所有唯一值，直接用df.select('column').distinct()（或者等价的df.dropDuplicates(['column'])）是最高效的选择，原因如下：

• 底层机制：这两个方法都会针对指定列执行去重操作，Spark会根据数据量自动选择HashAggregate（小数据量下内存哈希去重）或SortAggregate（大数据量下排序去重），仅处理目标列，没有多余计算开销。
• 对比groupby('column').count()：后者核心是统计每个唯一值的出现次数，虽能间接得到唯一值，但多了计数聚合步骤，输出还包含额外的count列，需额外处理才能拿到纯唯一值，整体开销远大于distinct。

额外优化提示 #

• 如果DataFrame已在目标列上分区，distinct效率会更高——无需跨节点大量shuffle数据，仅在分区内去重后合并结果即可。
• 可通过调整spark.sql.shuffle.partitions配置（默认200）优化shuffle性能：数据量小时调小该值，减少任务调度开销。

内容的提问来源于stack exchange，提问作者Lorenzo Cazador