Trino SQL/Athena中任意MAP列的安全哈希计算问题

问题1：Trino的MAP键是否有排序保证？ #

没有。Trino（包括AWS Athena基于Trino的实现）中的MAP类型，默认不保证键的存储或输出顺序。MAP的键顺序可能依赖于数据插入顺序、底层哈希表的实现逻辑，甚至不同的查询执行计划，因此不能依赖默认的MAP键顺序生成稳定哈希——哪怕内容完全相同的两个MAP仅键顺序不同，默认序列化后的字符串也可能不一样，导致哈希结果不一致。

问题2：如何安全计算嵌套MAP的一致哈希？ #

核心思路是先递归排序所有层级的MAP键，再序列化后计算哈希，确保无论原始MAP的键顺序如何，排序后的结构完全一致，序列化字符串也完全相同，最终哈希结果稳定。

具体实现方案 #

方法1：递归CTE处理嵌套MAP（无自定义函数场景）

适用于AWS Athena不支持自定义函数的版本：

WITH RECURSIVE sorted_nested_map AS (
    SELECT
        map_key,
        -- 递归处理嵌套MAP：如果值是MAP，先排序其内部键
        CASE
            WHEN typeof(map_value) = 'map' THEN
                (SELECT map_agg(k, v) FROM (
                    SELECT 
                        inner_k,
                        CASE WHEN typeof(inner_v) = 'map' THEN (SELECT sorted_value FROM sorted_nested_map WHERE map_key = inner_k) ELSE inner_v END AS v
                    FROM UNNEST(map_keys(map_value)) AS t(inner_k)
                    JOIN UNNEST(map_values(map_value)) AS t2(inner_v) ON true
                    ORDER BY inner_k
                ) AS sorted_inner)
            ELSE map_value
        END AS sorted_value
    FROM UNNEST(map_keys(your_map_column)) AS t(map_key)
    JOIN UNNEST(map_values(your_map_column)) AS t2(map_value) ON true
    ORDER BY map_key
)
-- 聚合排序后的键值对为MAP，序列化后计算SHA256哈希
SELECT 
    sha256(json_format(map_agg(map_key, sorted_value))) AS map_consistent_hash
FROM sorted_nested_map;

方法2：自定义递归排序函数（支持版本）

如果AWS Athena支持自定义SQL函数，可封装递归逻辑简化代码：

CREATE OR REPLACE FUNCTION recursive_sort_map(input_map MAP(VARCHAR, JSON))
RETURNS MAP(VARCHAR, JSON)
LANGUAGE SQL
AS $$
    -- 先排序当前MAP的键，再递归处理每个嵌套的MAP值
    map_sort_keys(transform_values(input_map, (key, val) -> 
        IF(typeof(val) = 'map', recursive_sort_map(val), val)
    ))
$$;

-- 使用示例
SELECT
    sha256(json_format(recursive_sort_map(your_map_column))) AS map_consistent_hash
FROM your_table;

关键说明 #

• 必须递归处理所有嵌套层级：仅排序顶层MAP的键无法保证嵌套MAP的键顺序一致，仍会导致哈希结果不稳定。
• 选择json_format序列化：排序后的MAP通过该函数生成结构一致的字符串，再用sha256（或其他哈希函数）计算即可得到稳定结果。

内容的提问来源于stack exchange，提问作者fweber