PySpark中DecimalType类型字段的字符串格式化问题

问题原因 #

Spark的format_string()底层调用Java的String.format()，而Java的格式化占位符（如%f、%d）不直接支持Spark的DecimalType类型，因此会触发IllegalFormatConversionException异常。

解决方案 #

方法1：转换为Double类型后使用format_string

将Decimal列转为Double类型，再用%.2f格式化保留两位小数：

from pyspark.sql import functions as F

# 假设原DataFrame名为df
df = df.withColumn(
    "formatted_amount",
    F.format_string("Amount is %.2f USD", F.col("amount").cast("double"))
)

注意：如果Decimal值的精度超出Double的范围，可能会有精度损失，适合大部分常规金额场景。

方法2：使用Spark专用函数format_number（无精度损失）

用format_number()直接格式化Decimal值，再拼接字符串：

from pyspark.sql import functions as F

df = df.withColumn(
    "formatted_amount",
    F.concat(
        F.lit("Amount is "),
        F.format_number(F.col("amount"), 2),  # 第二个参数为保留小数位数
        F.lit(" USD")
    )
)

format_number()专门处理数值格式化，完美支持DecimalType，且不会丢失精度。

方法3：结合round与字符串拼接

先对Decimal值四舍五入保留两位小数，再转为字符串拼接：

from pyspark.sql import functions as F

df = df.withColumn(
    "formatted_amount",
    F.concat(
        F.lit("Amount is "),
        F.round(F.col("amount"), 2).cast("string"),
        F.lit(" USD")
    )
)

这种方式也能避免精度损失，适合需要手动控制舍入规则的场景。

内容的提问来源于stack exchange，提问作者Adrien