Spark分组聚合字符串min/max异常：min值大于max值问题排查

问题 #

我通过以下代码使用groupBy创建数据集：

Dataset<Row> rangeSet = inputSet.select(key, partitionIDColName).groupBy(partitionIDColName)
                .agg(functions.min(key).as(minKeyColName), functions.max(key).as(maxKeyColName))
                .orderBy(functions.col(partitionIDColName).asc());

其中key为字符串类型，存储字符串值。我按整数列partitionIDColName对数据集分区，获取每个分区ID对应的key的最小值和最大值。

随后我将rangeSet的行收集到driver端并循环校验：

List<Row> ranges = rangeSet.collectAsList();

for (Row r : ranges) {
   String rangeStr;

   Integer partitionID = r.<Integer>getAs(partitionIDColName);
   String minKeyVal = r.<String>getAs(minKeyColName);
   String maxKeyVal = r.<String>getAs(maxKeyValColName);

   if (minKeyVal.compareTo(maxKeyVal) > 0) {
      throw new Exception("minKeyVal is greter than maxKeyVal for range " + partitionID + ", minKeyVal: '" + minKeyVal + "'" + "maxKeyVal: '" + maxKeyVal + "'");
   }
}

部分行触发了异常，说明groupBy返回的最小值大于最大值。我已确认Spark、Hadoop和driver均使用jdk-11.0.19编译运行，想知道这是怎么回事？Spark聚合时使用的字典序是否与driver端String::compareTo()不同？是否是JDK版本问题？

原因与解决方案 #

• 排序规则底层实现差异：Spark的min/max字符串聚合逻辑，底层依赖org.apache.spark.sql.catalyst.util.StringUtils的比较逻辑，并非直接调用Java原生的String.compareTo()。前者基于UTF-8字节流做排序，后者基于UTF-16编码的代码点排序，对于包含特殊字符（如多字节Unicode字符、控制字符）的字符串，两者的排序结果可能出现偏差。
• 环境编码隐性差异：即使JDK版本一致，Spark集群节点的系统默认编码、字符集配置，可能和driver端存在差异，这也会间接影响字符串排序的结果一致性。

针对这个问题可以尝试以下解决方式：

1. 统一比较逻辑：自定义UDF实现分区内的min/max计算，在UDF内部直接使用String.compareTo()做比较，确保和driver端校验逻辑一致。
2. 配置Spark字符串比较器：在Spark配置中设置spark.sql.stringComparator=java（需对应你使用的Spark版本确认该配置是否生效），强制Spark使用Java原生的字符串比较规则。
3. 排查特殊字符：定位触发异常的字符串，检查是否包含不可见字符、跨语言字符等特殊内容，这类字符是导致排序偏差的高频原因。

内容的提问来源于stack exchange，提问作者James