Elasticsearch按数组中指定年份works_count平均值排序方案咨询

1. 脚本排序的优劣势 #

• 优势：无需修改现有数据结构，不用重新索引，能快速实现需求，适合临时验证场景。
• 劣势：
  • 性能拉胯：每条文档都要执行脚本遍历数组，筛选2021、2022年的数据后计算平均值，数据量越大、并发越高，查询延迟越明显。
  • 无缓存支持：脚本计算的排序值无法被Elasticsearch缓存，每次查询都得重复计算，进一步放大性能问题。

脚本排序示例代码（Painless脚本）：

{
  "sort": [
    {
      "_script": {
        "type": "number",
        "script": {
          "lang": "painless",
          "source": """
            int sum = 0;
            int count = 0;
            for (def item : params._source.counts_by_year) {
              if (item.year == 2021 || item.year == 2022) {
                sum += item.works_count;
                count++;
              }
            }
            return count > 0 ? (sum / (double)count) : 0;
          """
        },
        "order": "desc"
      }
    }
  ]
}

2. 单独存储字段的优劣势 #

• 优势：
  • 性能优异：预计算平均值存入独立字段（比如avg_2021_2022_works_count），排序时直接调用该字段，利用Elasticsearch的doc values或倒排索引，查询速度极快，还支持缓存。
  • 扩展性强：后续如果需要基于该值做聚合、过滤等操作，直接用字段即可，无需重复计算。
• 劣势：需要修改映射结构，重新索引现有数据，或者在写入新数据时自动计算并存入该字段，有一定的前期工作量。

操作步骤示例：

1. 更新索引映射，添加新字段：

PUT /your_index/_mapping/_doc
{
  "properties": {
    "avg_2021_2022_works_count": {
      "type": "float"
    }
  }
}

2. 批量计算现有数据的平均值并更新：

POST /your_index/_update_by_query
{
  "script": {
    "lang": "painless",
    "source": """
      int sum = 0;
      int count = 0;
      for (def item : ctx._source.counts_by_year) {
        if (item.year == 2021 || item.year == 2022) {
          sum += item.works_count;
          count++;
        }
      }
      ctx._source.avg_2021_2022_works_count = count > 0 ? (sum / (double)count) : 0;
    """
  }
}

3. 排序时直接使用新字段：

{
  "sort": [
    {
      "avg_2021_2022_works_count": {
        "order": "desc"
      }
    }
  ]
}

最终选择建议 #

• 若为测试环境、数据量极小（数千条以内）、临时需求，可以用脚本排序快速验证；
• 若为生产环境、数据量大、长期需要该排序逻辑，强烈建议将平均值存入单独字段，优先保障查询性能。

内容的提问来源于stack exchange，提问作者Casey