关于Impala JDBC驱动ResultSet内存机制的技术问询

问题1：百万条记录时ResultSet的加载机制 #

Impala JDBC驱动默认会一次性把所有查询结果加载到内存中，这就是你处理百万条记录时内存飙升的核心原因。

只有当你显式设置了合理的fetchSize后，驱动才会开启分批拉取模式：每拉取一批数据到内存，当你遍历完这批所有记录后，驱动会自动释放这批数据占用的内存，再拉取下一批，不会将全量数据长期驻留在内存里。

问题2：是否需要设置FetchSize？ #

必须设置！你当前resultSet.getFetchSize()返回0，这是Impala JDBC驱动的默认值，这个值的含义就是一次性加载全部结果，完全起不到分批拉取的作用。

具体修改建议 #

在创建PreparedStatement时，除了设置fetchSize，建议显式指定结果集类型为TYPE_FORWARD_ONLY和CONCUR_READ_ONLY（虽为JDBC默认类型，但显式声明可避免环境差异导致的异常）：

// 在获取ResultSet前，先配置PreparedStatement
PreparedStatement stmt = conn.prepareStatement(
    你的查询SQL语句,
    ResultSet.TYPE_FORWARD_ONLY,
    ResultSet.CONCUR_READ_ONLY
);
stmt.setFetchSize(1000); // 可根据内存情况调整，推荐范围1000-5000
ResultSet resultSet = stmt.executeQuery();

注意区分两个配置 #

你代码里的batchSize是控制文件写入的批量刷新频率，仅优化磁盘IO；而ResultSet的fetchSize才是控制数据库数据拉取的内存占用，二者配合才能有效解决内存飙升问题。

内容的提问来源于stack exchange，提问作者K 2