PySpark中Long类型转String时出现数值偏差的问题求助

问题根源 #

你遇到的数值偏差问题，本质是数据源读取阶段就已经丢失了精度。虽然Long类型本身能精确表示19位以内的整数，但如果外部数据源（比如CSV、JSON）中的数值被Spark默认解析为Double类型，麻烦就来了——Double只能精确表示到2^53（约16位整数），超过这个范围的整数会被近似存储。你提到的40851611000001100是17位，已经超出Double的精确范围，读取时就被近似成了40851611000001102，后续不管用cast(StringType())还是转Decimal，都是基于这个错误值操作，自然得不到正确结果。

解决方案 #

1. 读取数据源时直接按字符串加载（最有效） #

从源头避免精度损失，读取数据时就把目标列指定为字符串类型：

• CSV文件：自定义Schema强制列类型为StringType

from pyspark.sql.types import StructType, StructField, StringType

# 定义Schema，把目标列设为StringType
custom_schema = StructType([
    StructField("target_col", StringType(), nullable=True),
    # 其他列按需定义...
])

df = spark.read.csv("your_data.csv", schema=custom_schema, header=True)

• JSON文件：同样通过Schema指定列类型

custom_schema = StructType([
    StructField("target_col", StringType(), nullable=True),
    # 其他列按需定义...
])

df = spark.read.json("your_data.json", schema=custom_schema)

2. 若需后续数值计算，转DecimalType再处理 #

如果加载为字符串后需要做数值运算，可以转成支持高精度的DecimalType，之后再转回String也不会丢值：

from pyspark.sql.types import DecimalType
from pyspark.sql import functions as F

# 字符串转高精度Decimal
df = df.withColumn("decimal_col", F.col("target_col").cast(DecimalType(20, 0)))
# Decimal转String，得到原始准确值
df = df.withColumn("correct_string_col", F.col("decimal_col").cast(StringType()))

3. 已读取为数值类型的补救（仅当重新读取可行时） #

如果数据已经加载且转成了Long/Double，因为精度已经丢失，无法从现有数据恢复准确值，必须重新读取数据源并按字符串解析。

关键提醒 #

• 对于超过16位的整数，永远优先用String或DecimalType存储，别用Double；
• 数据读取阶段是避免精度损失的核心节点，不要等转类型时才处理问题。

内容的提问来源于stack exchange，提问作者Prabha