Scala中如何遍历并提取Array内WrappedArray的元素？

嘿，刚接触Scala和Spark的话，处理这种嵌套的Row和WrappedArray确实容易头大！我来帮你拆解一下怎么搞定这个问题。

首先先明确你的数据结构：你得到的collected是一个Array[org.apache.spark.sql.Row]，数组里的每个Row包含两个元素：

• 第一个是数值类型的ID（比如示例里的31511）
• 第二个是WrappedArray[Row]，里面又嵌套了一堆小Row，每个小Row有两个值：一个Int类型的子ID，一个Double类型的分数

步骤1：获取到WrappedArray对象 #

首先你需要从外层的Row里把WrappedArray取出来。如果你的数组里只有一个Row（就像示例里那样），可以直接取数组的第一个元素，再用getAs或者getSeq方法提取WrappedArray：

// 取出数组中的第一个Row
val firstRow = collected(0)

// 提取WrappedArray（这里它是Row的第二个元素，索引为1）
// 方式1：用getAs指定类型
val wrappedArray = firstRow.getAs[org.apache.spark.sql.catalyst.expressions.WrappedArray[Row]](1)

// 方式2：用getSeq，因为WrappedArray实现了Seq接口，更通用
val wrappedArray = firstRow.getSeq[Row](1)

步骤2：遍历WrappedArray并提取内部元素 #

现在你已经拿到了WrappedArray，接下来就可以遍历它，把每个嵌套的Row里的元素取出来。比如要打印每个子ID和分数：

wrappedArray.foreach { itemRow =>
  // 提取子ID（第一个元素，Int类型）
  val itemId = itemRow.getInt(0)
  // 提取分数（第二个元素，Double类型）
  val score = itemRow.getDouble(1)
  // 打印结果
  println(s"子ID: $itemId, 分数: $score")
}

进阶：转换成Case Class更方便 #

如果后续还要对这些数据做更多操作，建议把嵌套的Row转换成Scala的Case Class，这样代码可读性更高：

1. 先定义一个Case Class来对应嵌套Row的结构：

case class Recommendation(itemId: Int, score: Double)

2. 把WrappedArray转换成Case Class的集合：

val recommendations = wrappedArray.map { row =>
  Recommendation(row.getInt(0), row.getDouble(1))
}.toList

// 现在可以轻松操作这个集合了
recommendations.foreach(println)

如果数组里有多个Row怎么办？ #

如果你的collected数组里包含多个外层Row，只需要在外层多套一层遍历即可：

collected.foreach { outerRow =>
  // 提取外层的ID（比如示例里的31511）
  val parentId = outerRow.getLong(0)
  println(s"父ID: $parentId")
  
  // 提取对应的WrappedArray
  val wrappedArray = outerRow.getSeq[Row](1)
  
  // 遍历内部元素
  wrappedArray.foreach { itemRow =>
    val itemId = itemRow.getInt(0)
    val score = itemRow.getDouble(1)
    println(s"  → 子ID: $itemId, 分数: $score")
  }
}

小提醒 #

最后啰嗦一句：在Spark开发中，尽量避免使用collect()方法，因为它会把分布式集群上的数据全部拉到Driver节点，数据量大的时候很容易内存溢出。如果只是测试小数据量没问题，但生产环境尽量用Spark的分布式API（比如map、flatMap等）来处理数据哦！

内容的提问来源于stack exchange，提问作者Daniel