PySpark中字符串列cast为Double类型返回null值如何解决

PySpark开发过程中，对DataFrame的字符串类型LOW列执行Double类型转换后，该列所有值均变为null。
复现代码如下：

from pyspark.sql.types import *
df3 = df2.withColumn("LOW",df2["LOW"].cast(DoubleType()))
df3.printSchema()
df3.show()

PySpark的cast方法做类型转换时，对字符串格式要求严格，只要存在不符合Double数值规范的字符，就会静默返回null，不会抛出异常，常见触发场景有三类：

• 字符串首尾存在不可见字符：包括半角/全角空格、制表符、换行符等，这类字符肉眼难以识别，但会直接导致解析失败。
• 字符串包含格式类附加字符：比如千分位分隔符逗号,、货币符号（$/¥/€）、百分号%、单位后缀等，不属于Double可直接解析的合法字符。
• 数字格式本地化不匹配：比如部分欧洲地区导出的数据用逗号作为小数分隔符、点作为千分位分隔符，和默认解析规则（点为小数分隔符）冲突，导致解析失败。

先对原始字符串做格式清洗，再执行类型转换，根据实际数据场景选择对应处理逻辑：

1. 通用清洗方案（适配绝大多数带格式字符、空白字符的场景）

from pyspark.sql.types import DoubleType
from pyspark.sql.functions import regexp_replace, trim

df3 = df2.withColumn(
    "LOW",
    # 第一步：移除首尾所有空白字符
    # 第二步：正则移除所有非数字、小数点、负号的非法字符
    # 第三步：执行类型转换
    regexp_replace(trim(df2["LOW"]), "[^0-9\\.\\-]", "").cast(DoubleType())
)

2. 本地化数字格式适配（逗号为小数分隔符场景）
   如果原始数据格式为1234,56代表数值1234.56，先替换小数分隔符再转换：

from pyspark.sql.types import DoubleType
from pyspark.sql.functions import regexp_replace, trim

df3 = df2.withColumn(
    "LOW",
    regexp_replace(trim(df2["LOW"]), ",", ".").cast(DoubleType())
)

3. 异常值排查方法
   如果清洗转换后仍存在null值，可以捞取解析失败的原始值排查特殊格式，针对性调整清洗规则：

from pyspark.sql.functions import col
# 筛选转换失败的记录，查看原始字符串真实内容
df3.filter(col("LOW").isNull()).select("LOW").show(truncate=False)

内容的提问来源于stack exchange，提问作者SachinT