如何在PySpark（Databricks）中按\拆分列并生成新列？

核心思路 #

由于反斜杠\是转义字符，拆分时需处理转义逻辑：在PySpark的split函数中，要用四个反斜杠\\\\表示实际的单个反斜杠分隔符。拆分后通过提取数组元素的方式生成对应新列，支持固定数量提取或动态适配最大拆分长度。

具体实现步骤 #

1. 导入依赖并准备示例数据

from pyspark.sql import functions as F

# 模拟用户的Values列数据
data = [("a\\b\\c",), ("d\\e\\f\\g",), ("x\\y",)]
df = spark.createDataFrame(data, ["Values"])
df.show(truncate=False)

输出示例：

+-------+
|Values |
+-------+
|a\b\c  |
|d\e\f\g|
|x\y    |
+-------+

2. 拆分列并生成固定数量的新列

如果已知拆分后最多有N个部分，可直接提取对应位置的元素：

# 先拆分得到数组类型的列
df_split = df.withColumn("split_values", F.split(F.col("Values"), "\\\\"))

# 提取各部分作为新列，element_at从1开始计数
df_result = df_split \
    .withColumn("part_1", F.element_at(F.col("split_values"), 1)) \
    .withColumn("part_2", F.element_at(F.col("split_values"), 2)) \
    .withColumn("part_3", F.element_at(F.col("split_values"), 3)) \
    .withColumn("part_4", F.element_at(F.col("split_values"), 4))

df_result.show(truncate=False)

输出示例：

+-------+------------+------+------+------+------+
|Values |split_values|part_1|part_2|part_3|part_4|
+-------+------------+------+------+------+------+
|a\b\c  |[a, b, c]   |a     |b     |c     |null  |
|d\e\f\g|[d, e, f, g]|d     |e     |f     |g     |
|x\y    |[x, y]      |x     |y     |null  |null  |
+-------+------------+------+------+------+------+

3. 动态适配拆分后的最大长度（自动生成新列）

如果不确定拆分后的元素数量，可先计算最大长度，再批量生成新列：

# 计算拆分后数组的最大长度
max_part_count = df_split.agg(F.max(F.size(F.col("split_values")))).collect()[0][0]

# 循环生成所有拆分后的列
df_result = df_split
for i in range(1, max_part_count + 1):
    df_result = df_result.withColumn(f"part_{i}", F.element_at(F.col("split_values"), i))

df_result.show(truncate=False)

4. 处理空值（可选）

若需要给不足长度的部分设置默认值，可使用coalesce：

df_result = df_split \
    .withColumn("part_1", F.coalesce(F.element_at(F.col("split_values"), 1), F.lit(""))) \
    .withColumn("part_2", F.coalesce(F.element_at(F.col("split_values"), 2), F.lit("")))

关键注意事项 #

• 反斜杠转义：必须使用\\\\作为拆分分隔符，因为Python字符串和Spark的split函数都需要对反斜杠进行转义。
• 元素索引：element_at函数从1开始计数，若习惯用0开始的数组下标，可直接用F.col("split_values")[0]访问。

内容的提问来源于stack exchange，提问作者user1403789