如何在PySpark 2.4中创建默认值为嵌套数组的新列？

我明白你在PySpark 2.4里遇到的问题了——直接用lit()给新列赋值嵌套数组确实行不通，因为lit()在2.4版本里只能处理简单的数据类型（比如字符串、数字），没法自动把Python的嵌套列表转换成Spark对应的ArrayType(ArrayType(StringType))类型。下面给你两种可行的解决办法：

方法一：用array()函数显式构造嵌套数组 #

我们可以用PySpark的array()函数，逐层把嵌套数组的元素包装起来，这样Spark就能正确识别嵌套数组的类型了。如果你的嵌套数组元素不多，可以手动构造；如果元素较多，用列表推导式批量处理更高效。

代码示例： #

from pyspark.sql import SparkSession
from pyspark.sql.functions import array, lit

# 创建Spark会话
spark = SparkSession.builder.appName("NestedArrayColumn").getOrCreate()

# 定义原DataFrame
df = spark.createDataFrame([(1,), (2,), (3,), (4,)], ["col1"])

# 定义嵌套数组
nested_array = [["string1", "string2"], ["string3", "string4"], ["string4", "string1"]]

# 用列表推导式把Python嵌套数组转换成Spark的嵌套array表达式
spark_nested_array = array(*[
    array(*[lit(item) for item in sublist]) 
    for sublist in nested_array
])

# 添加新列
df = df.withColumn("new_col", spark_nested_array)

# 查看结果
df.show(truncate=False)

这段代码会自动把每个子数组转换成Spark的ArrayType，最终生成你想要的嵌套数组列。

方法二：通过交叉连接单行DataFrame实现 #

如果你的嵌套结构非常复杂，手动用array()构造太麻烦，可以先创建一个包含目标嵌套数组的单行DataFrame，再通过交叉连接（cross join）把这个数组添加到原DataFrame的每一行中。

代码示例： #

from pyspark.sql import SparkSession

# 创建Spark会话
spark = SparkSession.builder.appName("NestedArrayColumn").getOrCreate()

# 定义原DataFrame
df = spark.createDataFrame([(1,), (2,), (3,), (4,)], ["col1"])

# 定义嵌套数组
nested_array = [["string1", "string2"], ["string3", "string4"], ["string4", "string1"]]

# 创建包含嵌套数组的单行DataFrame
temp_df = spark.createDataFrame([(nested_array,)], ["new_col"])

# 交叉连接，把嵌套数组添加到原DataFrame的每一行
df = df.crossJoin(temp_df)

# 查看结果
df.show(truncate=False)

这种方法不需要手动处理嵌套结构的类型转换，Spark会自动推断出正确的数组类型，非常适合复杂的嵌套场景。

运行上面任意一种方法，你都能得到想要的输出：

+----+------------------------------------------------------------------------+
|col1|new_col                                                                 |
+----+------------------------------------------------------------------------+
|1   |[[string1, string2], [string3, string4], [string4, string1]]            |
|2   |[[string1, string2], [string3, string4], [string4, string1]]            |
|3   |[[string1, string2], [string3, string4], [string4, string1]]            |
|4   |[[string1, string2], [string3, string4], [string4, string1]]            |
+----+------------------------------------------------------------------------+

备注：内容来源于stack exchange，提问作者Fellow72