如何在Spark中比较含复杂值的两个数据集是否存在差异

问题背景 #

需要找出dataset中与baseline数据集KEY相同，但DATASETS字段（Map<String, Array<String>>类型）存在差异的行，且数组内部顺序不同但元素相同时不应被视为差异。

解决方案 #

由于Spark无法直接对嵌套Map+Array类型做等值比较，且数组顺序会影响直接比较结果，我们可以通过对数组排序后比较的方式规避顺序问题，同时检查Map的键值对匹配情况。

方案1：排序数组后比较完整Map

利用Spark内置的array_sort函数（Spark 2.4+支持）对Map中的每个数组值排序，再比较排序后的Map是否相等：

import org.apache.spark.sql.functions.*;

Dataset<Row> result = joined
    // 对两个Map的所有数组值进行排序，生成新的有序Map
    .withColumn("sorted_baseline", expr("transform_values(datasets_baseline, (k, v) -> array_sort(v))"))
    .withColumn("sorted_new", expr("transform_values(datasets_new, (k, v) -> array_sort(v))"))
    // 筛选排序后Map不相等的行
    .filter(expr("sorted_baseline != sorted_new"))
    // 关联回原dataset获取目标行
    .join(dataset, dataset.col(KEY).equalTo(joined.col(KEY)), "inner")
    .select(dataset.col(KEY), dataset.col(DATASETS));

方案2：精细化检查键集合与值集合

如果需要更精准的控制（比如单独检查键的存在性、处理部分键缺失的情况），可以用以下逻辑：

Dataset<Row> result = joined
    .filter(expr("""
        // 检查两个Map的键集合是否不同（排序后比较避免键顺序影响）
        array_sort(map_keys(datasets_baseline)) != array_sort(map_keys(datasets_new))
        OR
        // 检查存在任意键，其对应的数组元素集合不同（排序后比较）
        exists(map_keys(datasets_baseline), k -> 
            array_sort(coalesce(datasets_baseline[k], array())) != array_sort(coalesce(datasets_new[k], array()))
        )
        """))
    .join(dataset, dataset.col(KEY).equalTo(joined.col(KEY)), "inner")
    .select(dataset.col(KEY), dataset.col(DATASETS));

原代码问题分析 #

之前的代码使用arrays_zip处理Map，但Spark中Map的键顺序是不确定的，arrays_zip会按默认键顺序配对，导致键对应关系错误；同时直接比较数组元素顺序，把元素相同但顺序不同的情况误判为差异，因此无法满足需求。

内容的提问来源于stack exchange，提问作者redisLearner