如何关闭PySpark中数值的科学计数法显示？

针对你遇到的decimal(23,8)列0值被显示为0E-8、导出CSV引发问题的情况，以下是几个实用的解决方法：

方法1：通过CSV输出配置强制固定小数格式 #

这是最直接的方案，不需要修改DataFrame的列类型，只需在导出CSV时指定decimal类型的输出格式：

# 假设你的DataFrame为df，直接在write时添加decimalFormat配置
df.write.option("decimalFormat", "0.00000000") \
        .csv("你的输出路径", header=True)

该配置会强制所有decimal类型列以8位固定小数格式输出，0值会自动转为0.00000000，同时保留Spark内部的decimal类型。

方法2：用format_number函数格式化列 #

如果需要在DataFrame层面就把值转为固定格式的字符串，可以使用format_number函数：

from pyspark.sql import functions as F

# 将目标列格式化为8位小数的字符串
df_formatted = df.withColumn(
    "decimal_col",
    F.format_number("decimal_col", 8)
)

# 导出CSV
df_formatted.write.csv("你的输出路径", header=True)

注意：此方法会把列类型转为字符串，适合仅需输出正确格式文本的场景。

方法3：自定义UDF处理特殊值 #

如果部分0值是因为精度存储问题导致的，可以用UDF专门处理这类情况：

from pyspark.sql import functions as F
from pyspark.sql.types import StringType

def format_decimal(val):
    if val == 0:
        return "0.00000000"
    else:
        return "{0:.8f}".format(val)

# 注册UDF
format_decimal_udf = F.udf(format_decimal, StringType())

# 应用到目标列
df_formatted = df.withColumn("decimal_col", format_decimal_udf("decimal_col"))
df_formatted.write.csv("你的输出路径", header=True)

补充说明 #

你之前尝试的类型转换无效，是因为decimal(23,8)本身的数值就是0，但PySpark默认输出时会对极小的0值采用科学计数法展示，单纯转换类型不会改变输出格式，必须通过指定格式化规则来修正显示逻辑。

内容的提问来源于stack exchange，提问作者amit.k.maurya.16