如何将PySpark DataFrame中多个数组类型列转换为字符串类型

核心逻辑是自动识别所有数组类型列做定向转换，非数组列完全保留原始类型和值，无需手动枚举列名。

实现步骤 #

• 遍历DataFrame的元数据，自动筛选所有数据类型为数组的列
• 遍历全量列，对数组列执行字符串转换，非数组列直接取原始值返回

可直接运行的代码 #

from pyspark.sql import functions as F

# 自动识别所有数组类型列，兼容任意维度的数组类型
array_columns = [col_name for col_name, data_type in df.dtypes if data_type.startswith("array")]

# 转换逻辑二选一即可
# 写法1：数组元素用逗号拼接为字符串，无外层方括号，自动跳过数组内的null值
df_result = df.select(
    *[
        F.concat_ws(",", F.col(col)).cast("string").alias(col) 
        if col in array_columns 
        else F.col(col) 
        for col in df.columns
    ]
)

# 写法2：直接强转为字符串，保留数组原生的[elem1, elem2]展示格式，null值会正常保留
# df_result = df.select(
#     *[
#         F.col(col).cast("string").alias(col) 
#         if col in array_columns 
#         else F.col(col) 
#         for col in df.columns
#     ]
# )

校验方式 #

执行以下命令查看转换后的表结构，确认数组列已变为string类型，其余列类型和原表一致即可：

df_result.printSchema()

注意事项 #

• 无需提前硬编码数组列名，后续表结构新增数组列时代码无需修改，可自动适配
• 如果需要自定义数组元素的分隔符，修改concat_ws的第一个参数即可，比如想用|分隔就传入"|"
• 转换过程不会修改非数组列的任何值、数据类型，和原表完全一致

内容的提问来源于stack exchange，提问作者alexa_028