Pyspark中带千分位逗号的字符串转Decimal出现空值如何解决

问题根因 #

Pyspark原生的cast(DecimalType())方法无法识别数值字符串中的千分位逗号分隔符，会将包含逗号的字符串判定为非法数值格式，转换后直接返回空值。

解决方法 #

核心思路是先通过正则替换清除所有千分位逗号，再执行Decimal类型转换。

1. 导入依赖函数 #

from pyspark.sql.functions import col, regexp_replace
from pyspark.sql.types import DecimalType

2. 单字段转换示例 #

你可以根据业务财务数据的精度要求指定Decimal的参数，比如DecimalType(18,2)代表总长度18位、保留2位小数，是财务场景常用配置：

newouterjoindffinal = newouterjoindf.withColumn(
    "netto_resultaat",
    regexp_replace(col("netto_resultaat"), ",", "").cast(DecimalType(18,2))
)

3. 多财务字段批量转换 #

如果有多个字段需要统一处理，可以用循环批量执行，减少重复代码：

# 定义所有需要转换的财务字段列表
finance_cols = ["netto_resultaat", "其他字段1", "其他字段2"]

for col_name in finance_cols:
    newouterjoindf = newouterjoindf.withColumn(
        col_name,
        regexp_replace(col(col_name), ",", "").cast(DecimalType(18,2))
    )

newouterjoindffinal = newouterjoindf

4. 转换结果验证 #

执行转换后可以通过以下代码验证转换效果，确认没有空值产生：

# 查看原字段值和转换后的值对比
newouterjoindffinal.select("netto_resultaat", col("netto_resultaat").alias("converted_value")).show(10, truncate=False)
# 统计转换后的空值数量
print("转换后空值数量：", newouterjoindffinal.filter(col("netto_resultaat").isNull()).count())

内容的提问来源于stack exchange，提问作者Regazzi