如何在PySpark中实现为DataFrame添加常量数组列（Scala等效）

这问题我之前也碰到过，PySpark和Scala-Spark在处理数组字面量的方式上确实有区别，你直接用lit(tag)报错是因为PySpark的lit()函数不支持直接把Python列表当成Spark的数组类型传入。下面给你两种可行的解决方法：

方法1：用array()函数构建数组列 #

PySpark里要创建数组类型的列，得用array()函数把每个元素都包裹成字面量，具体代码如下：

from pyspark.sql.functions import lit, array

# 定义你的标签列表
tag = ["oracle", "java"]

# 用array函数生成数组列
df2 = df2.withColumn("tags", array(*[lit(item) for item in tag]))
df2.show(truncate=False)

这里用列表推导把每个元素转成lit()对象，再通过*解构传入array()，就能生成对应的数组列了。

方法2：用typedLit()函数（Spark 2.3及以上版本可用） #

如果你的Spark版本是2.3或更高，推荐用typedLit()，它专门支持传入Python列表、字典这类复杂类型，代码更简洁：

from pyspark.sql.functions import typedLit

tag = ["oracle", "java"]

df2 = df2.withColumn("tags", typedLit(tag))
df2.show(truncate=False)

报错原因说明 #

为什么直接用lit(tag)不行？因为PySpark的lit()主要是用来处理字符串、数字这种简单字面量的，它没法自动把Python列表映射成Spark的ArrayType。而array()是专门用来构建数组列的函数，typedLit()则是扩展版的lit()，支持复杂类型的字面量输入。

完整可运行示例 #

给你一个包含测试DataFrame的完整代码，直接复制就能运行验证：

from pyspark.sql import SparkSession
from pyspark.sql.functions import typedLit, array, lit

# 初始化SparkSession
spark = SparkSession.builder.appName("AddArrayColumnDemo").getOrCreate()

# 构建测试数据
sample_data = [
    ("John", 25, "Developer", 2.56),
    ("Scott", 30, "Tester", 5.2),
    ("Jim", 28, "DBA", 3.0),
    ("Mike", 35, "Consultant", 10.0),
    ("Daniel", 26, "Developer", 3.2),
    ("Paul", 29, "Tester", 3.6),
    ("Peter", 30, "Developer", 6.5)
]
columns = ["name", "age", "role", "experience"]
df2 = spark.createDataFrame(sample_data, columns)

# 方法1：使用array
tag = ["oracle", "java"]
df2 = df2.withColumn("tags", array(*[lit(item) for item in tag]))
df2.show(truncate=False)

# 方法2：使用typedLit（Spark 2.3+）
df2 = df2.withColumn("tags", typedLit(tag))
df2.show(truncate=False)

运行后会得到和你Scala示例完全一致的输出：

+------+---+----------+----------+--------------+
|name  |age|role      |experience|tags          |
+------+---+----------+----------+--------------+
|John  |25 |Developer |2.56      |[oracle, java]|
|Scott |30 |Tester    |5.2       |[oracle, java]|
|Jim   |28 |DBA       |3.0       |[oracle, java]|
|Mike  |35 |Consultant|10.0      |[oracle, java]|
|Daniel|26 |Developer |3.2       |[oracle, java]|
|Paul  |29 |Tester    |3.6       |[oracle, java]|
|Peter |30 |Developer |6.5       |[oracle, java]|
+------+---+----------+----------+--------------+

内容的提问来源于stack exchange，提问作者stack0114106