You need to enable JavaScript to run this app. Spark Scala 如何从嵌套数组列生成无重复单数组的新DataFrame
优惠活动
大模型
产品
解决方案
定价
更多

Spark Scala 如何从嵌套数组列生成无重复单数组的新DataFrame

实现方案

核心思路

两步即可完成需求:

  • 用Spark内置的explode函数炸开嵌套数组列,把每个内层Array[Int]拆为独立行
  • 对拆分后的数组列执行去重,内容完全一致的数组仅保留1条

完整实现代码

首先需要导入Spark SQL内置函数:

import org.apache.spark.sql.functions.{col, explode}

你给出的示例用元组做了简化,实际对应Array[Array[Int]]类型的测试数据构造逻辑如下:

val data = Seq(
  Array(Array(1, 2, 3), Array(3, 4, 5), Array(6, 7, 8)),
  Array(Array(1, 5, 7), Array(3, 4, 5), Array(6, 3, 0))
).toDF("arrays")

执行转换逻辑:

val resultDF = data
  // 炸开嵌套数组,将每行的内层数组拆分为单独的行,列命名为array
  .select(explode(col("arrays")).as("array"))
  // 对数组列全局去重,完全相同的数组仅保留一条
  .distinct()

效果说明

执行resultDF.show()即可得到预期结果,输出的方括号是Spark对数组类型的默认展示形式,和你示例里的圆括号仅为写法差异,数据内容完全匹配:

+---------+
|array    |
+---------+
|[1, 2, 3]|
|[3, 4, 5]|
|[6, 7, 8]|
|[1, 5, 7]|
|[6, 3, 0]|
+---------+

注意:Spark判定两个数组重复的规则是元素值、元素顺序完全一致,刚好匹配你示例中重复的(3,4,5)仅保留一条的需求。

内容的提问来源于stack exchange,提问作者Federico Taschin

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.18 00:45:04