Spark 3与Spark 2小数舍入行为差异及Azure环境兼容方案咨询

针对Azure环境下Spark v2和v3小数舍入结果不匹配的问题，以下是几个可落地的对齐方案：

• 强制指定舍入模式为HALF_UP
  Spark v2默认采用HALF_UP（常规四舍五入）逻辑，而Spark v3可能因默认配置变更导致舍入行为变化。在使用round函数时显式指定舍入模式，确保和v2行为一致：

-- Spark SQL示例
SELECT round(your_decimal_col, 2, 'HALF_UP') AS rounded_col FROM your_table;

也可以通过全局配置统一设置，在SparkSession初始化时添加：

// Scala示例
spark.conf.set("spark.sql.decimalOperations.defaultRoundingMode", "HALF_UP")

• 显式定义Decimal类型的精度与刻度
  避免隐式类型转换带来的差异，处理小数时直接指定Decimal的精度（总位数）和刻度（小数位数）：

// Scala示例：将字段转换为精度10、刻度2的Decimal类型
import org.apache.spark.sql.types.DecimalType
val alignedDF = originalDF.withColumn(
  "aligned_num",
  col("original_num").cast(DecimalType(10, 2))
)

• 开启Spark Legacy兼容配置
  通过开启Spark v3的Legacy兼容模式，强制对齐v2的小数处理逻辑：

// Scala示例：初始化SparkSession时添加兼容配置
val spark = SparkSession.builder()
  .appName("DecimalAlignment")
  .config("spark.sql.legacy.roundingModeInDecimal", "true")
  .config("spark.sql.decimalOperations.defaultRoundingMode", "HALF_UP")
  .getOrCreate()

spark.sql.legacy.roundingModeInDecimal参数会让Decimal运算完全沿用v2的舍入逻辑，从根源上对齐行为。

• 替换floor为匹配v2的舍入逻辑
  如果之前用floor函数未达预期，直接改用round函数并指定HALF_UP模式——floor是向下取整，和v2的四舍五入逻辑本质不同，这可能是之前尝试失败的核心原因。

内容的提问来源于stack exchange，提问作者Elle Panahi