如何在PySpark DataFrame中新增拼接固定字符串与其他列值的新列

你直接用PySpark内置的concat拼接函数就可以完成需求，无需自定义UDF，性能更优，完整操作步骤如下：

1. 首先导入PySpark的函数模块

from pyspark.sql import functions as F

2. 调用withColumn方法新增Index列，按规则拼接字段即可

# 假设你的原始DataFrame变量名为df
result_df = df.withColumn(
    "Index",
    F.concat(
        F.lit("ST "),  # 拼接固定前缀
        F.col("class"), # 取class列的值
        F.lit("("), # 拼接左括号
        F.col("id"), # 取id列的值，数值类型会自动转为字符串无需额外转换
        F.lit(")") # 拼接右括号
    )
)

3. 验证输出
   调用result_df.show(truncate=False)即可看到和预期一致的结果，truncate=False参数可以避免列内容过长被自动截断。

• 补充说明：如果你的数据中class或id存在空值，又不想让拼接出来的Index为空，可以用F.coalesce(F.col("class"), F.lit("默认值"))替换对应的列取值逻辑，给空值指定占位内容即可。

内容的提问来源于stack exchange，提问作者user1688178