ElasticSearch出现Backend Closed Connection错误的解决与配置咨询

针对你用terms聚合获取120亿数据中sensor字段唯一值时出现的连接断开问题，不用急着升级Kibana配置——这个错误大多是Elasticsearch（ES）端资源不足或查询效率太低导致的，试试下面这些优化手段：

• 缩小查询范围，避免全量聚合
  120亿条全量数据的聚合对ES集群压力极大，建议按时间、分区等维度拆分查询。比如添加时间过滤条件，只查询某段时间的数据，分多次查询后手动合并唯一值列表：

  GET /_search
  {
      "size": 0,
      "query": {
          "range": {
              "@timestamp": {
                  "gte": "2024-01-01T00:00:00",
                  "lte": "2024-01-31T23:59:59"
              }
          }
      },
      "aggs" : {
          "distinct_sensor" : {
              "terms" : { 
                  "field" : "sensor",
                  "size": 2000
              }
          }
      }
  }
  

  注意把size设为0，不需要返回原始文档，进一步节省资源。

• 优化terms聚合参数
  给terms聚合添加shard_size参数（值建议比size大50%左右，比如3000），让每个分片返回更多候选值，既保证结果完整性，又提升聚合效率；同时关闭文档计数错误统计减少开销：

  GET /_search
  {
      "size": 0,
      "aggs" : {
          "distinct_sensor" : {
              "terms" : { 
                  "field" : "sensor",
                  "size": 2000,
                  "shard_size": 3000,
                  "show_term_doc_count_error": false
              }
          }
      }
  }
  

• 延长查询超时时间
  默认超时时间可能不足以支撑大数量级的聚合，在查询中显式设置更长的超时时间，比如60秒：

  GET /_search?timeout=60s
  {
      "size": 0,
      "aggs" : {
          "distinct_sensor" : {
              "terms" : { "field" : "sensor", "size": 2000 }
          }
      }
  }
  

• 检查ES集群资源状态
  如果上述方法都无效，查看ES节点的CPU、内存使用率——如果聚合时资源耗尽（比如JVM堆内存不足），需要调整ES的堆内存配置（建议设为物理内存的50%且不超过32G），或者给ES节点扩容，而不是调整Kibana配置。

内容的提问来源于stack exchange，提问作者VikR