Spark Scala 如何从嵌套数组列生成无重复单数组的新DataFrame
实现方案
核心思路
两步即可完成需求:
- 用Spark内置的
explode函数炸开嵌套数组列,把每个内层Array[Int]拆为独立行 - 对拆分后的数组列执行去重,内容完全一致的数组仅保留1条
完整实现代码
首先需要导入Spark SQL内置函数:
import org.apache.spark.sql.functions.{col, explode}
你给出的示例用元组做了简化,实际对应Array[Array[Int]]类型的测试数据构造逻辑如下:
val data = Seq( Array(Array(1, 2, 3), Array(3, 4, 5), Array(6, 7, 8)), Array(Array(1, 5, 7), Array(3, 4, 5), Array(6, 3, 0)) ).toDF("arrays")
执行转换逻辑:
val resultDF = data // 炸开嵌套数组,将每行的内层数组拆分为单独的行,列命名为array .select(explode(col("arrays")).as("array")) // 对数组列全局去重,完全相同的数组仅保留一条 .distinct()
效果说明
执行resultDF.show()即可得到预期结果,输出的方括号是Spark对数组类型的默认展示形式,和你示例里的圆括号仅为写法差异,数据内容完全匹配:
+---------+ |array | +---------+ |[1, 2, 3]| |[3, 4, 5]| |[6, 7, 8]| |[1, 5, 7]| |[6, 3, 0]| +---------+
注意:Spark判定两个数组重复的规则是元素值、元素顺序完全一致,刚好匹配你示例中重复的
(3,4,5)仅保留一条的需求。
内容的提问来源于stack exchange,提问作者Federico Taschin
相关产品推荐
相关产品推荐

