SpringBoot ElasticsearchRepository遇search_context_missing_exception的解决咨询

问题背景 #

在SpringBoot应用中定义了如下Elasticsearch Repository：

interface TransactionsRepository extends ElasticsearchRepository<Transaction, String> {
    Stream<Transaction> findAllBySomething(String something);
}

调用该方法获取大量记录时，105秒后失败，报错信息：

org.elasticsearch.ElasticsearchException: Elasticsearch exception
[type=search_context_missing_exception, reason=No search context found
for id [44763]]

同时需要确认以下application.properties配置是否正确：

spring.jpa.properties.hibernate.jdbc.batch_size=100
spring.jpa.properties.hibernate.order_inserts=true
spring.jpa.properties.hibernate.order_updates=true
spring.jpa.properties.hibernate.jdbc.fetch_size=400

一、延长Scroll API超时时间的配置 #

Spring Data Elasticsearch中Scroll API默认超时较短（通常1分钟左右），超时后Elasticsearch会销毁搜索上下文，引发上述错误。可通过以下方式配置：

1. 全局配置（application.properties/yaml）
   添加配置自定义Scroll超时时间（示例为5分钟，可根据实际处理速度调整）：

   spring.data.elasticsearch.scroll-timeout=5m
   

2. 代码层面自定义控制
   若需更灵活的控制，可通过ElasticsearchRestTemplate或RestHighLevelClient手动构建查询并指定超时：

   SearchRequest searchRequest = new SearchRequest("transactions_index");
   SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
   // 设置查询条件
   sourceBuilder.query(QueryBuilders.termQuery("something", "target_value"));
   // 设置Scroll超时为5分钟
   searchRequest.scroll(TimeValue.timeValueMinutes(5));
   

二、处理超过10000条记录的解决方案 #

除延长Scroll超时外，还有以下更可靠的方案：

• 用Search After替代Scroll
  Scroll适合一次性批量导出数据，而Search After是Elasticsearch推荐的持续分页方案——它不保留搜索上下文，从根源避免超时问题。需基于唯一排序字段（如时间戳+ID）分页，每次用最后一条记录的排序值作为下一页的查询起点。

• 分段批量查询
  根据业务字段（如创建时间、ID范围）拆分数据集，多次执行查询。比如按小时拆分时间范围，每次查询一个时间段内的数据，避免单次处理过大的数据集。

• 优化数据处理逻辑
  避免单线程同步处理所有数据，采用异步多线程或Spring Batch等批量框架，减少单批次数据的处理时间，降低Scroll超时风险。

• 调整Elasticsearch集群参数
  集群环境下可适当调大search.max_open_scroll_context参数，增加允许同时存在的搜索上下文数量，但这只是临时缓解，更推荐从业务逻辑层面优化。

三、Hibernate配置的正确性说明 #

你贴的这些配置是JPA/Hibernate的JDBC批量操作与抓取配置，和Elasticsearch无关，语法本身是正确的，各自作用如下：

• spring.jpa.properties.hibernate.jdbc.batch_size=100：设置批量插入/更新的批次大小，Hibernate会攒够100条操作再一次性发送给数据库，提升性能。
• spring.jpa.properties.hibernate.order_inserts=true：让Hibernate将相同实体类型的插入操作排序，优化批量插入效率。
• spring.jpa.properties.hibernate.order_updates=true：同理，优化批量更新的效率。
• spring.jpa.properties.hibernate.jdbc.fetch_size=400：设置JDBC的抓取大小，查询大量数据时，数据库每次返回400条记录，减少网络往返次数。

这些配置仅作用于关系型数据库操作，对Elasticsearch查询无影响。

内容的提问来源于stack exchange，提问作者Ciobanu Rares-Constantin