无需使用UDF，如何展平DataFrame中的数组的数组类型列？

当然有啦！完全不用写自定义UDF就能搞定这种嵌套数组的展平需求，Spark本身就提供了适配不同版本的内置方法，下面分情况给你详细说明：

1. Spark 2.4及以上版本：直接用flatten函数（最推荐） #

Spark 2.4之后官方推出了flatten函数，专门用来将数组的数组直接转换为一维数组，是最简洁高效的方案。

举个实际例子：
首先创建一个带嵌套数组的测试DataFrame：

from pyspark.sql import SparkSession
from pyspark.sql.functions import flatten

spark = SparkSession.builder.appName("FlattenNestedArrays").getOrCreate()

# 测试数据：id + 数组的数组列
sample_data = [
    (1, [[1, 2, 3], [4, 5], [6]]),
    (2, [[7, 8], [9]]),
    (3, [[10]])
]

df = spark.createDataFrame(sample_data, ["id", "nested_array"])
df.show(truncate=False)

然后只需要一行代码就能完成展平：

flattened_df = df.withColumn("flattened_array", flatten(df.nested_array))
flattened_df.show(truncate=False)

执行后你会得到完全展平的一维数组列，整个过程没有任何UDF，完全依赖Spark内置函数。

2. Spark 2.4以下版本：用explode + groupBy + collect_list组合 #

如果你的Spark版本低于2.4，没有flatten函数，也可以用三个内置函数的组合来实现，同样不需要UDF：

步骤逻辑是：先炸开外层数组，再炸开内层数组得到单个元素，最后按原主键分组收集成一维数组。

代码示例：

from pyspark.sql.functions import explode, collect_list

# 第一步：炸开外层数组，得到每个内层数组
explode_outer = df.select("id", explode("nested_array").alias("inner_array"))
# 第二步：炸开内层数组，得到每个单独的元素
explode_inner = explode_outer.select("id", explode("inner_array").alias("single_element"))
# 第三步：按id分组，将元素重新收集为一维数组
flattened_df = explode_inner.groupBy("id").agg(collect_list("single_element").alias("flattened_array"))
flattened_df.show(truncate=False)

这个方法虽然步骤多一点，但完全符合"不用UDF"的要求，而且兼容性更好。

补充：Scala版本的用法 #

如果你用Scala开发，逻辑完全一致，只是语法略有不同：

• 用flatten的写法：

import org.apache.spark.sql.functions.flatten

val flattenedDF = df.withColumn("flattened_array", flatten($"nested_array"))

• 低版本的组合写法和Python逻辑一致，函数名相同。

内容的提问来源于stack exchange，提问作者Kobe-Wan Kenobi