Spark Java中Sum计算结果异常及动态小数位数处理咨询

一、Double求和精度偏差问题解答 #

你的操作没有错误，这是浮点数（Double）的固有精度限制导致的。

Double类型采用二进制浮点存储，大部分十进制小数无法被精确表示（比如0.1的二进制是无限循环小数），这些微小的误差在累加运算后会被放大，最终出现类似159.0600000000004的结果。

以你的示例来说，-6221.4和6380.46作为Double值存储时，本身就存在无法察觉的精度误差，两者求和后误差显现，偏离了预期的十进制精确值。

如果需要完全精确的十进制运算，建议改用DecimalType（对应Java中的BigDecimal），示例代码调整如下：

List<BigDecimal> points = Arrays.asList(new BigDecimal("-6221.4"), new BigDecimal("6380.46"));
Dataset<Row> dt = spark.createDataset(points, Encoders.DECIMAL()).toDF("decimal_vals");
dt.createOrReplaceTempView("dual_table");
spark.sql("select sum(decimal_vals) from dual_table").show(false);

执行后会得到精确的159.06结果。

二、分组后动态保留不同小数位数的解决方案 #

要实现不同分组保留不同小数位数，核心是先确定每个分组对应的小数位数规则，再根据规则格式化结果。以下是两种可行方案：

方案1：预定义分组小数位数映射表 #

先创建一个存储分组与对应小数位数的映射表，再通过关联查询动态格式化：

// 定义分组小数位数映射
List<Tuple2<String, Integer>> precisionMap = Arrays.asList(
    new Tuple2<>("Ram", 2),
    new Tuple2<>("Sam", 3)
);
Dataset<Row> precisionDs = spark.createDataset(precisionMap, Encoders.tuple(Encoders.STRING(), Encoders.INT()))
    .toDF("name", "decimal_places");

// 先计算分组求和结果，再关联映射表格式化
Dataset<Row> sumDs = spark.sql("select NAME, sum(profit) sum_val from dual_table group by name");
sumDs.join(precisionDs, "name")
    .select(
        col("name"),
        // 使用format_number函数根据指定小数位数格式化
        format_number(col("sum_val"), col("decimal_places")).alias("formatted_sum")
    )
    .show(false);

执行后输出：

+----+-------------+
|name|formatted_sum|
+----+-------------+
|Ram |159.06       |
|Sam |6760.922     |
+----+-------------+

方案2：根据原始数据的最大小数位数自动确定 #

如果小数位数由分组内原始数据的最大小数位数决定，可以通过自定义UDF计算每个数值的小数位数，再分组取最大值，最后格式化：

// 自定义UDF：计算Double值的小数位数
spark.udf().register("get_decimal_places", (Double num) -> {
    if (num == null) return 0;
    String str = num.toString();
    if (str.contains(".")) {
        // 去除末尾的0和可能的科学计数法后缀
        str = str.replaceAll("0*$", "").replaceAll("\\.$", "");
        return str.split("\\.")[1].length();
    }
    return 0;
}, DataTypes.IntegerType);

// 计算每个分组的最大小数位数
Dataset<Row> groupPrecision = spark.sql("select name, max(get_decimal_places(profit)) as decimal_places from dual_table group by name");

// 关联求和结果并格式化
Dataset<Row> sumDs = spark.sql("select NAME, sum(profit) sum_val from dual_table group by name");
sumDs.join(groupPrecision, "name")
    .select(
        col("name"),
        format_number(col("sum_val"), col("decimal_places")).alias("formatted_sum")
    )
    .show(false);

这种方案会自动根据每个分组内原始profit字段的最大小数位数来格式化求和结果，无需手动配置映射关系。

内容的提问来源于stack exchange，提问作者Shyam