PySpark中如何向selectExpr方法传入列表以动态创建新列？

核心问题在于selectExpr接收可变长度字符串参数，不支持直接传入列表作为独立参数，对生成的表达式列表做解包即可解决，同时注意字符串常量需要用引号包裹避免被识别为列名。

修正后可运行代码 #

from pyspark.sql import SparkSession

# 示例数据初始化，可替换为自身业务的DataFrame生成逻辑
spark = SparkSession.builder.appName("test").getOrCreate()
df = spark.createDataFrame([(1, "zzz"), (2, "xxx")], schema=["a", "b"])

sample_new_cols = {
    "s": "'ran-s'",  # 字符串常量外层加单引号，避免被识别为现有字段名
    "ts": "current_timestamp()"
}

# 对表达式列表加*做解包，转为多个独立参数传入selectExpr
df = df.selectExpr(
    '*',
    *[f"{definition} as {name}" for name, definition in sample_new_cols.items()]
)

df.show(truncate=False)

输出结果 #

+---+---+-----+-------------------+
|a  |b  |s    |ts                 |
+---+---+-----+-------------------+
|1  |zzz|ran-s|2024-05-20 14:30:00|
|2  |xxx|ran-s|2024-05-20 14:30:00|
+---+---+-----+-------------------+

该方案一次性完成所有字段的选择和新列生成，无需多次调用withColumn，完全规避了执行计划嵌套层级过深导致的stackoverflowexception问题。

内容的提问来源于stack exchange，提问作者AlienDeg