PySpark将array[string]转array[float]后列变空，求正确方法

问题场景 #

当前DataFrame的Schema如下：

root
|-- Name: string (nullable = true)
|-- val: array (nullable = true)
| |-- element: string (containsNull = true)

尝试直接对val列强转浮点数组：

df = df.withColumn("val", col("val").cast("array<float>"))

但操作后val列全部变为null。

原因分析 #

直接对整个数组列执行强转时，只要数组内存在任意一个无法转换为float的元素，整个数组就会被置为null，这是Spark的类型转换规则导致的。正确的做法是逐个转换数组中的每个元素。

正确实现方式 #

方法1：使用transform函数（Spark 3.0及以上版本）

Spark 3.0提供的transform函数可以遍历数组元素并逐个转换，是最简洁的方式：

from pyspark.sql import functions as F
from pyspark.sql.types import FloatType

df = df.withColumn("val", F.transform("val", lambda elem: elem.cast(FloatType())))

方法2：自定义UDF（适用于Spark 3.0以下版本）

如果使用低版本Spark，可通过自定义UDF实现逐个元素转换：

from pyspark.sql import functions as F
from pyspark.sql.types import ArrayType, FloatType

def str_to_float_array(arr):
    if arr is None:
        return None
    # 处理每个元素，空值保留为null，非空值尝试转float
    return [float(item) if item is not None else None for item in arr]

# 注册UDF
str_float_arr_udf = F.udf(str_to_float_array, ArrayType(FloatType()))
df = df.withColumn("val", str_float_arr_udf("val"))

补充说明 #

• 如果数组中存在非数字格式的字符串（比如"abc"），转换后对应位置会变为null；若需要特殊处理这类情况，可以在UDF中添加异常捕获逻辑，例如返回默认值或过滤无效元素。
• 转换完成后可通过df.printSchema()验证val列的类型已变为array<float>。

内容的提问来源于stack exchange，提问作者Tom J Muthirenthi