为何Spark的array/map字段explode操作属于SELECT操作？

你的理解完全正确：explode确实打破了传统SQL SELECT的“一行输入对应一行输出”的投影模型，它本质是行展开操作，通过select方法触发后，会将每条记录按数组/映射的元素数量复制n_i次（n_i为当前行数组/映射的元素数），同时把对应元素提取到新列中，最终生成行数更多的DataFrame。

为什么explode能在select里用？ #

Spark把explode这类函数归为UDTF（表值函数，User-Defined Table-Valued Function），和普通的列函数（比如col、upper这类仅做列转换的函数）不同，UDTF的核心特点是“一行输入生成多行输出”。Spark的DataFrame API对select方法做了扩展，允许在其中使用UDTF，此时select不再是单纯的列投影操作，而是合并了行展开的逻辑。

实际代码示例 #

比如你有一个带数组字段的DataFrame：

from pyspark.sql import SparkSession
from pyspark.sql.functions import explode

spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame([(1, ["a", "b", "c"]), (2, ["d"])], ["id", "values"])

原DataFrame共2行，当执行select(explode("values"))：

exploded_df = df.select(explode("values").alias("value"))
exploded_df.show()

输出会是3行：

+-----+
|value|
+-----+
|    a|
|    b|
|    c|
|    d|
+-----+

这里第一条记录被复制了3次，第二条被复制了1次，完全符合你所说的“每条记录复制n_i次”的逻辑。

补充说明 #

传统SQL的SELECT确实仅负责列投影（选择列、做列级转换），不会改变行数，但Spark为了API的易用性，把UDTF的行展开能力整合到了select方法中。如果你想更清晰地区分投影和行展开操作，也可以用flatMap API实现类似效果，但explode在DataFrame API中是更简洁的实现方式。

内容的提问来源于stack exchange，提问作者user2153235