如何将PySpark DataFrame指定列拼接为单个字符串列？

问题场景 #

现有如下PySpark DataFrame：

需要将p1至p4的整数值拼接为字符串列，得到结果：

尝试以下代码时报错：

from pyspark.sql.types import StringType 
from pyspark.sql import functions as F

df_concat=df.withColumn('joined_column', F.concat([F.col(c).cast(StringType()) for c in df.columns if  c!='identification']))

报错信息：

TypeError: Invalid argument, not a string or column:

错误原因 #

F.concat()函数不支持直接传入列的列表作为参数，它需要接收多个独立的列对象作为位置参数，而非单个列表。

解决方案 #

方法1：解包列列表（最直接的修正） #

用*运算符将生成的列列表解包为concat()的多个参数：

from pyspark.sql.types import StringType 
from pyspark.sql import functions as F

# 生成需要拼接的列（转字符串后）
cols_to_concat = [F.col(c).cast(StringType()) for c in df.columns if c != 'identification']
# 用*解包列表作为concat的参数
df_concat = df.withColumn('joined_column', F.concat(*cols_to_concat))

方法2：使用concat_ws（适用于无分隔符拼接） #

concat_ws默认需要分隔符，传入空字符串即可实现无分隔拼接，代码更简洁：

from pyspark.sql import functions as F

df_concat = df.withColumn(
    'joined_column',
    F.concat_ws("", *[F.col(c) for c in df.columns if c != 'identification'])
)
# 注：concat_ws会自动将数值类型转为字符串，无需手动cast

方法3：使用SQL表达式（expr函数） #

通过SQL拼接语法实现，适合熟悉SQL的场景：

from pyspark.sql import functions as F

# 动态生成SQL拼接语句
concat_expr = " || ".join([f"`{c}`" for c in df.columns if c != 'identification'])
df_concat = df.withColumn('joined_column', F.expr(concat_expr))
# 注：Spark SQL中用||作为字符串拼接运算符，数值会自动转字符串

内容的提问来源于stack exchange，提问作者Abdessamad139