MyBatis使用Cursor查询超10万条记录能否解决内存不足问题
MyBatis 大批量数据查询内存问题及Cursor方案适用性解答
为什么List接收会引发内存溢出
MyBatis默认查询逻辑会将全量结果集一次性加载到JVM堆内存,组装为List实例返回。5万条数据如果单条记录体积较大,很容易占满堆内存触发OOM,进而导致应用重启,你对问题诱因的判断是正确的。
Cursor方案能否解决当前5万条数据的问题
可以,核心逻辑如下:Cursor是MyBatis 3.4.0版本后提供的流式结果封装类,它不会一次性加载所有查询结果到内存,而是在迭代时逐条从数据库结果集中拉取数据,内存占用仅和单条记录的体积相关,和总查询数据量无关,完全可以解决你当前的内存受限问题。
Cursor使用注意事项
- 查询方法必须运行在事务上下文中,建议添加
@Transactional注解,避免数据处理过程中数据库连接被提前回收,导致游标不可用 - 需配合JDBC驱动配置游标参数生效,例如MySQL需要在查询注解/XML中配置
fetchSize = Integer.MIN_VALUE,同时JDBC连接添加useCursorFetch=true参数,否则驱动仍会默认拉取全量结果到客户端,无法达到流式查询的效果 - 建议使用try-with-resources语法自动关闭Cursor,避免资源泄漏,示例代码如下:
@Transactional public void batchProcessData() { // 自动管理Cursor资源 try (Cursor<YourEntity> dataCursor = customMapper.queryAllLargeData()) { for (YourEntity record : dataCursor) { // 逐条处理记录,无需存入集合 doProcess(record); } } catch (Exception e) { // 自定义异常处理逻辑 } }
10万条以上数据是否仍适用Cursor方案
只要你的业务逻辑支持逐条流式处理、不需要全量数据驻留内存做聚合、排序等操作,哪怕是百万级别的数据量,Cursor方案都适用,内存占用不会随数据量增长而上升,不会出现OOM问题。
仅两类场景不建议使用Cursor:
- 业务必须把全量数据加载到内存做计算:这类场景即使用Cursor最终还是要把所有记录存入集合,内存占用和直接用List接收没有差异,建议换成分页查询+分批处理的方案
- 单条数据处理逻辑耗时极长:Cursor持有数据库连接的周期等于整个数据处理的周期,单条处理太慢会导致连接长时间被占用,容易引发连接池耗尽问题
内容的提问来源于stack exchange,提问作者Alvin
相关产品推荐
相关产品推荐

