如何在PySpark中将字符串列拆分映射为多列？

你提到的需求很常见，在PySpark里确实可以通过一次操作完成字符串列的拆分并生成多列，我给你分享几种实用的方法，都能达到你想要的效果：

首先先创建示例DataFrame方便测试（和你的数据结构一致）：

from pyspark.sql import SparkSession
from pyspark.sql.functions import split, col, try_cast

spark = SparkSession.builder.appName("SplitDimDemo").getOrCreate()

data = [("1x1",), ("0x0",), ("1x0",)]
df = spark.createDataFrame(data, ["dim"])
df.show()

方法1：使用split + getItem + withColumn #

这是最直观的方式，先通过split函数把字符串拆分成数组，再用getItem提取数组中的元素，最后转成整数类型（因为你需要的是数字列而不是字符串）：

df_result = df.withColumn("dim1", split(col("dim"), "x").getItem(0).cast("int")) \
              .withColumn("dim2", split(col("dim"), "x").getItem(1).cast("int"))

df_result.show()

运行后就能得到你想要的结果，split(col("dim"), "x")会把每个dim值拆成包含两个元素的数组，比如"1x1"变成["1","1"]，getItem(0)取第一个元素，cast("int")将字符串转为整数类型。

方法2：使用selectExpr（SQL风格） #

如果你更习惯SQL语法，用selectExpr会更紧凑，直接在表达式里完成拆分、转换和列命名：

df_result = df.selectExpr(
    "dim",
    "cast(split(dim, 'x')[0] as int) as dim1",
    "cast(split(dim, 'x')[1] as int) as dim2"
)

df_result.show()

这种写法和SQL的逻辑完全一致，对于熟悉SQL的开发者来说上手更快。

额外提示：处理异常情况 #

如果你的dim列里存在不符合数字x数字格式的行（比如"abc"或者"123"），直接用cast会抛出转换错误。Spark 3.0及以上版本可以用try_cast替代cast，这样不符合格式的行会返回null而不是报错：

df_result = df.withColumn("dim1", try_cast(split(col("dim"), "x").getItem(0), "int")) \
              .withColumn("dim2", try_cast(split(col("dim"), "x").getItem(1), "int"))

以上几种方法都能一次性完成拆分并生成多列，你可以根据自己的编码习惯选择合适的方式~

内容的提问来源于stack exchange，提问作者Jas