使用复合聚合时触发ArrayIndexOutOfBoundsException的Elasticsearch问题

针对数千个分组、每组包含多名人员时，使用collapse后聚合嵌套字段出现Index 129 out of bounds for length 129的数组越界错误，提供以下解决方案：

1. 优先升级Elasticsearch版本 #

这个错误大概率是旧版本Elasticsearch处理collapse+嵌套聚合时的内部数组扩容bug导致的，比如7.x早期版本（7.10及以前）存在此类问题。升级到7.17.x或8.x的稳定版本，官方已经修复了这类内部数据结构的处理缺陷。

2. 修改查询逻辑，规避collapse+嵌套聚合的组合 #

如果暂时无法升级，可以调整聚合逻辑：

• 直接按分组字段聚合：放弃collapse，改用terms聚合先分组，再在子聚合中处理嵌套字段，示例如下：

  {
    "size": 0,
    "aggs": {
      "group_by_group_field": {
        "terms": {
          "field": "group_field",
          "size": 10000  // 根据实际分组数量调整，最大支持65536（可通过`aggregation.max_buckets`修改）
        },
        "aggs": {
          "nested_people_agg": {
            "nested": {
              "path": "people"
            },
            "aggs": {
              // 这里添加你的人员数据聚合逻辑，比如统计人员ID分布
              "people_id_stats": {
                "terms": {
                  "field": "people.id"
                }
              }
            }
          }
        }
      }
    }
  }
  

• 分两次查询：如果必须保留collapse（比如需要获取每个分组的最新文档再聚合），可以拆分查询：
  1. 第一次查询用collapse获取每个分组的目标文档ID：

     {
       "collapse": {
         "field": "group_field"
       },
       "fields": ["_id"],
       "size": 10000  // 匹配你的分组数量
     }
     

  2. 提取所有返回的_id，第二次查询用ids过滤器定位文档后再做嵌套聚合：

     {
       "size": 0,
       "query": {
         "ids": {
           "values": ["doc_id_1", "doc_id_2", ...]
         }
       },
       "aggs": {
         "nested_people_agg": {
           "nested": {
             "path": "people"
           },
           "aggs": {
             // 你的人员数据聚合逻辑
           }
         }
       }
     }
     

3. 内存与参数调整（备选） #

如果上述方案都无法实施，可以尝试：

• 增大Elasticsearch节点的JVM堆内存，确保有足够空间处理大数组；
• 注意aggregation.max_buckets参数（默认65536），如果分组数超过这个值需要提前调整，但这不是直接解决数组越界的方案，只是避免后续的桶数量超限错误。

内容的提问来源于stack exchange，提问作者feng