PySpark如何提取字符串列内空格分隔值的最大值并更新列

不需要自定义UDF，直接使用PySpark内置函数即可实现，性能远高于UDF方案，同时天然适配多空格分隔的场景，实现代码如下：

首先导入依赖函数：

from pyspark.sql import functions as F

核心处理逻辑示例：

# 示例DataFrame，str_col为待处理的字符串列
df = spark.createDataFrame([('1  1  1  3',), ('2 5 4  2',), ('9 0  6',)], ['str_col'])

# 处理得到最大值字符串列，如需覆盖原列直接将第一个参数改为原列名str_col即可
df_result = df.withColumn(
    "max_value",
    F.array_max(
        F.transform(
            # 先去除首尾空格，再按任意数量空白符拆分字符串为数组
            F.split(F.trim(F.col("str_col")), r"\s+"),
            # 数组元素统一转整数用于数值比较
            lambda x: x.cast("int")
        )
    ).cast("string") # 如需数值类型结果可删除这行类型转换
)

相关函数说明：

• F.trim：去除字符串首尾的空白字符，避免首尾空格导致拆分出无效空字符串
• F.split(..., r"\s+")：使用正则匹配1个及以上的空白字符做分隔，不管分隔是1个还是多个空格都能正确拆分
• F.transform：对拆分后的数组每个元素做类型转换，确保后续按数值规则比较大小
• F.array_max：Spark内置的数组最大值计算函数，直接返回数组中的最大元素

该方案仅要求Spark版本≥2.4即可使用，避免了UDF带来的序列化、反序列化以及Python进程和JVM进程交互的开销，在大数据量场景下性能优势非常明显。

内容的提问来源于stack exchange，提问作者Maaru Veshan