如何在Hive中将string字段转换为map<int, int>类型字段？

无需UDF实现（仅支持Hive 2.3.0及以上版本） #

核心逻辑是先打散Map为独立键值对，转换类型后重新聚合为目标类型的Map，示例代码如下：

-- 假设你的源表为test_table，存储map字符串的字段为map_str，每行有唯一主键id
SELECT 
  map_from_entries(
    collect_list(
      struct(cast(k AS INT), cast(v AS INT))
    )
  ) AS int_map
FROM test_table
-- 先将str_to_map生成的map<string,string>打散为键值对行
LATERAL VIEW explode(str_to_map(map_str)) temp AS k, v
-- 按主键分组聚合回原来的行粒度
GROUP BY id, map_str;

该方案不需要额外开发代码，缺点是需要打散再聚合，大数据量下性能低于直接转换的UDF方案，且对Hive版本有要求。如果你的Hive版本低于2.3.0，无法使用该方案。

简单UDF实现（兼容全版本，性能更优） #

直接编写UDF对Map的键值做类型转换即可，实现逻辑非常轻量。

UDF代码示例（Java） #

package com.yourcompany.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import java.util.HashMap;
import java.util.Map;

public class MapStringToInt extends UDF {
    public Map<Integer, Integer> evaluate(Map<String, String> input) {
        if (input == null) return null;
        Map<Integer, Integer> res = new HashMap<>(input.size());
        for (Map.Entry<String, String> entry : input.entrySet()) {
            // 按需处理转换异常，这里直接抛出避免脏数据
            Integer key = Integer.parseInt(entry.getKey());
            Integer val = Integer.parseInt(entry.getValue());
            res.put(key, val);
        }
        return res;
    }
}

注册与使用 #

1. 将代码打包为jar包上传到HDFS路径，比如hdfs:///udf/jar/map_str_to_int.jar
2. 在Hive会话中执行注册命令：

ADD JAR hdfs:///udf/jar/map_str_to_int.jar;
CREATE TEMPORARY FUNCTION map_str_to_int AS 'com.yourcompany.hive.udf.MapStringToInt';

3. 直接调用即可：

SELECT map_str_to_int(str_to_map(map_str)) AS int_map FROM test_table;

内容的提问来源于stack exchange，提问作者Zachary Oldham