如何在PySpark中使用split()函数创建二维数组类型列？

核心方法：用PySpark高阶函数transform处理数组元素 #

PySpark的transform函数专门用来迭代数组中的每个元素，刚好匹配你的需求——对line_array里的每个字符串执行空格分割，同时能处理null值。

代码示例 #

1. 创建模拟你的业务数据的示例DataFrame（包含null值）：

from pyspark.sql import SparkSession
from pyspark.sql.functions import transform, split, col, when

spark = SparkSession.builder.appName("ArraySplit").getOrCreate()

data = [
    ("file 1", ["1 100 0 0 New", "2 200 1 1 Old", None]),
    ("file 2", ["3 300 2 2 Test", None, "4 400 3 3 Demo"])
]

df = spark.createDataFrame(data, ["file_name", "line_array"])
df.show(truncate=False)

2. 执行转换操作：

# 对数组每个元素做空格分割，null元素转为空数组（可根据需求调整逻辑）
transformed_df = df.withColumn(
    "line_array",
    transform(
        col("line_array"),
        lambda x: when(x.isNull(), split("", "")).otherwise(split(x, " "))
    )
)

transformed_df.show(truncate=False)

执行后就能得到你需要的嵌套数组结果，原数组中的null会被转为空数组；如果希望保留null子数组，直接用split(x, " ")即可，无需when分支。

关键知识点解释 #

• transform(col, func)：遍历指定数组列的每个元素，对每个元素应用自定义函数，返回新数组
• split(str, sep)：按指定分隔符将字符串分割为数组，这里用空格" "作为分隔符
• when(condition, value)：处理null值的分支逻辑，灵活控制null元素的转换结果

• 重点掌握PySpark高阶函数：除了transform，还有filter（过滤数组元素）、aggregate（数组聚合）等，这些是处理复杂数组/嵌套结构的核心工具
• 熟悉内置函数库：尤其是字符串处理（split、concat）、条件判断（when、coalesce）、数组操作（array、array_contains）类函数，直接参考PySpark官方函数文档即可
• 多练嵌套数据场景：比如数组嵌套数组、数组结合null值处理的案例，这类场景在日志解析、半结构化数据处理中很常见
• 避免用Python原生map：PySpark DataFrame是分布式数据集，用Spark原生函数（如transform）比Python UDF效率高很多，后者会触发全量数据的Python层面计算，性能损耗大

内容的提问来源于stack exchange，提问作者Raj harini