使用RestHighLevelClient查询Elastic大索引时遇实体内容过长报错

当使用RestHighLevelClient查询数据量极大的Elasticsearch索引时，触发以下报错：

error is : java.io.IOException: entity content is too long [658121477] for the configured buffer limit [104857600]
at org.elasticsearch.client.RestClient.extractAndWrapCause(RestClient.java:886)

问题原因 #

RestClient默认的响应缓冲区上限为100MB（104857600字节），而本次查询返回的结果大小约为628MB（658121477字节），超出了缓冲区限制。

解决方案 #

1. 调整RestClient的响应缓冲区大小

修改RestHighLevelClient的初始化代码，通过setMaxResponseBufferSize方法设置更大的缓冲区上限：

RestHighLevelClient restHighLevelClient = null;
final CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
credentialsProvider.setCredentials(AuthScope.ANY,
        new UsernamePasswordCredentials(userName, passWord));

RestClientBuilder builder = RestClient.builder(HttpHost.create(host))
        .setHttpClientConfigCallback(httpClientBuilder -> httpClientBuilder
                .setDefaultCredentialsProvider(credentialsProvider)
                // 设置缓冲区大小为700MB（可根据实际需求调整字节数）
                .setMaxResponseBufferSize(734003200));

restHighLevelClient = new RestHighLevelClient(builder);

注意：缓冲区大小需根据实际返回结果的峰值调整，避免设置过大导致内存压力。

2. 优化查询逻辑（更推荐）

一次性拉取超大结果集本身存在性能风险，建议通过以下方式优化：

• 分页查询：使用from+size（适合浅分页）或Scroll/Point-in-Time API（适合深度分页）分批获取数据。
• 字段过滤：仅指定业务所需的返回字段，避免返回整个文档内容。
• 聚合计算：若为统计类需求，直接在Elasticsearch端完成聚合操作，仅返回聚合结果而非原始数据。

内容的提问来源于stack exchange，提问作者Raja reddy Konda