PySpark如何将DataFrame所有列的字符串拆分为数组？

嗨，这个场景我太懂了！手动写一堆withColumn确实完全适配不了列数动态变化的情况，这里有几个简洁高效的方法，帮你一次性搞定所有列的拆分：

1. 直接替换所有列为拆分后的列表（保留原列名） #

如果你的需求是把所有列直接替换成拆分后的列表（假设分隔符是逗号，可按需修改），可以用select配合列表推导式批量处理：

from pyspark.sql.functions import split, col

# 假设你的DataFrame名为df
all_cols = df.columns
# 遍历所有列，对每一列应用split函数，保持原列名
df_split = df.select([split(col(c), ",").alias(c) for c in all_cols])

小提示： #

• 如果分隔符是正则特殊字符（比如|、.），记得转义，比如用split(col(c), "\\|")来拆分竖线分隔的字符串
• 如果存在非字符串类型的列，直接用split会报错，这时候可以先过滤出字符串类型的列再处理（看下面的方案）

2. 保留原列，同时新增拆分后的列 #

要是你想保留原始列，同时添加拆分后的列表列（比如给拆分后的列加_split后缀），可以这样写：

df_with_split = df.select(
    "*",  # 保留所有原始列
    *[split(col(c), ",").alias(f"{c}_split") for c in all_cols]
)

这里的*是把列表推导式生成的列表达式展开，一次性添加所有拆分后的列，不用逐个写。

3. 仅处理字符串类型的列（跳过非字符串列） #

如果你的DataFrame里混有数值、日期等非字符串类型的列，不想对它们做拆分，可以先筛选出字符串类型的列：

# 筛选出所有字符串类型的列
string_cols = [col_name for col_name, dtype in df.dtypes if dtype == "string"]
# 处理字符串列，同时保留非字符串列
df_split_string = df.select(
    [split(col(c), ",").alias(c) for c in string_cols] +  # 处理字符串列
    [c for c in all_cols if c not in string_cols]  # 保留非字符串列
)

这样就只会对字符串列进行拆分，其他列保持原有类型和值不变，避免不必要的报错。

内容的提问来源于stack exchange，提问作者Joel