如何通过Helidon DBClient高效获取数据库大量行数据？

1. 处理大量数据的推荐方式 #

优先使用DbStatement.execute()返回的Multi进行异步流式处理，这是DBClient针对大数据量场景设计的推荐方案，能避免一次性加载全量数据导致的内存溢出问题。

2. execute() API 的内存处理机制 #

execute()返回的Multi采用分批流式拉取机制，不会将所有数据一次性加载到JVM内存中。它内部会与JDBC结果集绑定，每次从数据库拉取一批数据（数量由fetch size决定），推送给订阅者处理，处理完成后再继续拉取下一批，直到结果集处理完毕。

3. 获取大小（Fetch Size）的设置方式 #

单查询级别设置 #

针对单个查询，可直接调用DbStatement.fetchSize(int)方法指定拉取批次大小：

dbClient.preparedQuery("SELECT * FROM large_dataset")
    .fetchSize(1000) // 每次从数据库拉取1000行数据
    .execute()
    .onItem().transform(row -> row.to(YourBusinessEntity.class))
    .subscribe().with(entity -> {
        // 逐行/逐批处理业务逻辑
    });

全局配置（类似jOOQ的Settings.setFetchSize） #

在Quarkus的application.properties配置文件中添加全局fetch size设置，该配置会直接绑定到JDBC Statement的setFetchSize接口，作用于所有DBClient执行的查询：

quarkus.datasource.jdbc.fetch-size=1000

4. 额外注意事项 #

• 若使用反应式数据源，需确保数据库驱动支持流式结果集：比如MySQL需额外配置quarkus.datasource.jdbc.additional-jdbc-properties.useCursorFetch=true，PostgreSQL驱动默认支持。
• 避免在流式处理过程中调用collect().asList()这类会将全量数据加载到内存的操作，否则会失去流式处理的优势。

内容的提问来源于stack exchange，提问作者Ashwin Prabhu