Hive UDF解析IP地址至国家城市运行极慢问题求助

你的猜测完全正确，性能瓶颈来自evaluate方法的重复初始化逻辑：每次处理一行IP数据时，你都会重新读取resource下的mmdb文件、构建DatabaseReader实例。mmdb文件体积通常不小，读取IO开销+初始化成本很高，每调用一次都重复执行该逻辑，在数据量大的场景下自然会出现运算速度极慢的问题。

核心改造点是将DatabaseReader改为静态全局变量，在类加载阶段仅初始化一次，避免重复IO操作，优化后代码如下：

public class IPUtil extends UDF {
    // 静态全局DatabaseReader实例，仅初始化一次
    private static DatabaseReader reader;

    // 静态代码块，类加载时执行一次完成mmdb加载
    static {
        try {
            ClassLoader classloader = Thread.currentThread().getContextClassLoader();
            InputStream is = classloader.getResourceAsStream("GeoLite2-City.mmdb");
            reader = new DatabaseReader.Builder(is).build();
            // 用完关闭输入流避免资源泄漏
            is.close();
        } catch (IOException e) {
            e.printStackTrace();
            throw new RuntimeException("GeoLite2数据库加载失败，请检查jar包中是否存在mmdb文件", e);
        }
    }

    public List<String> evaluate(String ip){
        if (ip == null || ip.trim().isEmpty()) {
            return null;
        }
        try{
            InetAddress ipAddress = InetAddress.getByName(ip);
            CityResponse response = reader.city(ipAddress);
            List<String> list = new ArrayList<>(4);
            // 增加空判断，避免部分IP没有对应中文名称时空指针
            list.add(response.getContinent() != null ? response.getContinent().getNames().get("zh-CN") : null);
            list.add(response.getCountry() != null ? response.getCountry().getNames().get("zh-CN") : null);
            list.add(response.getMostSpecificSubdivision() != null ? response.getMostSpecificSubdivision().getNames().get("zh-CN") : null);
            list.add(response.getCity() != null ? response.getCity().getNames().get("zh-CN") : null);
            return list;
        } catch (UnknownHostException | IOException | GeoIp2Exception e) {
            e.printStackTrace();
            return null;
        }
    }

    @Test
    public void test()throws Exception{
        System.out.println(evaluate("175.45.20.138"));
    }
}

• 替换LinkedList为ArrayList：你返回的列表长度固定为4，ArrayList的随机访问和插入性能更适合该场景
• 提前做IP空值校验，避免无效的解析逻辑执行
• 若数据量极大，可以先对IP列去重解析，再将解析结果关联回原表，进一步减少UDF调用次数
• 若reduce并行度过低，可适当调整mapreduce.job.reduces参数提升并行处理能力

内容的提问来源于stack exchange，提问作者user2894829