迁移至Databricks Unity Catalog后Spark SQL与SQL Server求和结果不一致怎么办？

问题根源 #

两者精度差异主要来自三个方面：

• 数据类型映射错误：迁移时将SQL Server的numeric/decimal类型自动推断为Spark的DoubleType（浮点数），导致精度损失
• 求和时的精度处理规则不同：SQL Server对decimal类型求和会严格遵循精度扩展规则，Spark默认可能允许精度损失
• 舍入方式差异：两者默认的小数舍入逻辑可能不一致

具体解决步骤 #

1. 修正数据类型映射（核心） #

确保迁移时SQL Server的numeric/decimal类型精准映射到Spark的DecimalType，避免自动推断为Double类型。
示例迁移代码（PySpark读取SQL Server数据）：

from pyspark.sql.types import StructType, StructField, DecimalType

# 匹配SQL Server原表的字段精度，比如原字段是numeric(18,9)
schema = StructType([
    StructField("ActivityValue", DecimalType(18, 9), nullable=True)
])

df = spark.read \
    .format("jdbc") \
    .option("url", "jdbc:sqlserver://your-sql-server:1433;databaseName=your-db") \
    .option("dbtable", "dbo.viewname") \
    .option("user", "your-username") \
    .option("password", "your-password") \
    .schema(schema) \
    .load()

# 写入Unity Catalog时保持DecimalType
df.write.saveAsTable("catalog.schema.viewname")

2. 禁用Spark的精度损失允许配置 #

Spark默认允许decimal运算时的精度损失，强制关闭该配置以严格保留精度：

-- 在Databricks Notebook中执行
SET spark.sql.decimalOperations.allowPrecisionLoss = false;

或者通过PySpark配置：

spark.conf.set("spark.sql.decimalOperations.allowPrecisionLoss", "false")

3. 统一舍入规则 #

显式指定求和后的舍入方式，对齐SQL Server的ROUND_HALF_UP规则：
修改Spark查询语句：

select cast(round(sum(ActivityValue), 7) as numeric(22,7))
from catalog.schema.viewname

4. 验证单条数据精度 #

先确认迁移后的单条数据与SQL Server完全一致，排除迁移过程中的精度损失：

• Spark查询：

select ActivityValue from catalog.schema.viewname limit 100

• SQL Server查询：

select ActivityValue from dbo.viewname top 100

对比结果，若单条数据就有差异，优先修正数据类型映射问题。

内容的提问来源于stack exchange，提问作者Developer Rajinikanth