如何在Hive中将JSON字符串列转Map类型列并提取所有唯一键

我来帮你搞定这两个Hive数据处理的需求，结合你给出的示例JSON数据，一步步拆解操作：

1. 将JSON字符串列转换为Map类型列 #

Hive提供了两种常用的方式来实现这个转换，根据你的Hive版本选择即可：

方法一：直接CAST转换（Hive 2.0+推荐） #

如果你的Hive版本在2.0及以上，可以直接利用CAST函数将JSON字符串转换成MAP类型，前提是你的JSON结构是标准的键值对格式（就像你给出的示例那样）。假设你的JSON列名为json_str，目标Map的键是字符串类型，值是长整型（因为示例里的值都是时间戳数字），SQL语句如下：

SELECT CAST(json_str AS MAP<string, bigint>) AS json_map
FROM your_table_name;

运行后，json_map列就是一个标准的Hive Map类型，你可以通过json_map['START_TIME']这样的方式直接提取对应键的值。

方法二：用str_to_map配合正则替换（兼容低版本Hive） #

如果你的Hive版本较低，不支持直接CAST JSON到Map，可以通过正则替换把JSON格式转换成str_to_map函数能识别的格式：

SELECT str_to_map(
    regexp_replace(
        regexp_replace(json_str, '^\\{|\\}$', ''),  -- 移除JSON首尾的大括号
        '":"?', ','  -- 把键值之间的":"（如果值是字符串会带引号，这里统一替换成逗号）
    ),
    ',', ':'  -- 指定键值对分隔符为逗号，键与值的分隔符为冒号
) AS json_map
FROM your_table_name;

这个方法先把JSON格式的字符串处理成key1:value1,key2:value2的形式，再用str_to_map转换成Map类型。

2. 提取所有行中的唯一键 #

要获取所有行里出现过的唯一键，我们可以先把Map类型的列拆分成键值对行，再对键去重：

SELECT DISTINCT map_key
FROM your_table_name
-- 把Map列拆分成单独的键和值行
LATERAL VIEW explode(CAST(json_str AS MAP<string, bigint>)) exploded_map AS map_key, map_value;

针对你给出的示例行数据，运行这个查询后会返回所有唯一的键：

START_TIME
PARSING.QUERY_FORMED
CUBES_WITH_PERMISSIONS
PARSING.CUBE_MATCH_SELECTED
POTENTIAL_COMPLETIONS_ADDED
QUERY_PARSED
SUGGESTIONS_FORMED
PARSING.SEQUENCES_GENERATED
PARSING.NGRAM_MATCHES_CACHED

如果你已经有了转换后的Map列（比如第一步生成的json_map），也可以直接用这个列替换CAST(json_str AS MAP<string, bigint>)，效果是一样的。

内容的提问来源于stack exchange，提问作者Tharun Audhimoolam