首先，咱们先定位你当前配置和查询里最影响性能的核心问题，再一步步给出落地的优化方案：

1. 两端通配符Wildcard查询是性能头号杀手 #

你当前用的*SEARCH_TERM*这种前后都带通配符的wildcard查询，对于keyword类型字段来说完全无法利用倒排索引——ES只能对每个分片做全量文档扫描，1亿文档的规模下，每个分片要扫数百万甚至上千万条数据，这绝对是慢查询的核心原因。

优化方案： #

• 如果业务允许，尽量改成后缀通配符（比如SEARCH_TERM*），这种场景ES可以利用倒排索引的前缀匹配，性能会提升数倍；
• 若必须实现“包含”语义的搜索，建议给需要搜索的字段（document.name、externalData.properties.displayName）配置ngram分词器：
  • 在索引设置里定义ngram分析器（比如min_gram=2，max_gram=10，可根据你的搜索词长度调整）；
  • 给这两个字段单独设置mapping，使用该ngram分析器做索引，同时保留keyword子字段用于精确匹配；
  • 之后用普通的match查询替代wildcard，就能利用倒排索引实现高效的包含搜索。

2. 嵌套字段查询的额外开销 #

你提到索引有复杂嵌套结构，查询里的externalData.properties.displayName如果是nested类型字段，ES在查询时需要遍历每个嵌套文档，比普通object字段的查询开销大得多。

优化方案： #

• 如果该字段不需要严格的嵌套文档独立性（比如不会同时搜索同一父文档下多个嵌套字段的组合条件），可以把nested类型改成object类型，减少查询时的嵌套遍历开销；
• 若必须保留nested类型，确保查询时只指定必要的嵌套路径，避免不必要的嵌套文档扫描。

3. 分片规模过大，超出合理范围 #

你的索引是5个主分片，1亿文档+副本1，意味着每个主分片要存储约2000万文档，按单文档15K计算，每个分片大小约300G——这远远超出ES推荐的单分片20-50G的合理范围。分片过大不仅会导致搜索时内存压力陡增、GC频繁，还会降低并行搜索的效率（5个分片的并行度远低于更细分的分片数）。

优化方案： #

• 重新规划分片数：按单分片20-50G计算，建议设置20-30个主分片（比如20个主分片，每个分片约500万文档，大小75G左右，接近上限但可控）；
• 因为当前索引规模大，重索引成本高，可以先通过_split API拆分现有分片（注意拆分前要确保集群有足够的磁盘和内存资源），后续新数据写入新的分片结构。

4. 查询结构与缓存优化 #

你的查询结构有可以精简的地方，同时要最大化利用ES的filter缓存：

• 把deleted: false这个全局过滤条件从内层bool里提出来，和用户权限过滤的bool should并列放在外层filter中，这样ES可以更高效地缓存这个高频过滤条件；
• 确保contributorIds和document.ownerId的mapping是keyword类型（你已经通过dynamic_templates实现了），避免不必要的分词开销；
• 可以考虑给用户ID相关的字段（contributorIds、document.ownerId）开启eager_global_ordinals，提升term查询的性能（尤其是高频查询的场景）。

5. Dynamic Templates的冗余索引问题 #

你用dynamic_templates把所有字段都设为keyword类型，虽然避免了重索引，但很多不需要搜索的字段也被索引了，这会大幅增加倒排索引的大小，占用更多内存和磁盘空间，间接影响搜索性能。

优化方案： #

• 修改dynamic_templates，只对需要搜索的字段（比如owner、contributor、name、displayName等）设置keyword+小写过滤器；
• 其他不需要搜索的字段设置index: false，只存储不索引，节省资源。

6. 集群资源与缓存配置检查 #

• 堆内存分配：确保每个ES节点的堆内存不超过32G（推荐24-26G），超过32G会失去JVM压缩指针的优化，导致内存利用率下降；
• 文件系统缓存：节点的可用物理内存要足够让操作系统缓存大部分倒排索引（理想情况下，可用内存是索引总大小的一半以上），这样搜索时可以直接从内存读取数据，避免磁盘IO瓶颈；
• 监控工具：用ES自带的工具排查具体瓶颈：
  • 用GET _cat/shards?v查看每个分片的大小、文档数和状态；
  • 用GET _nodes/hot_threads定位慢线程，看是查询阶段还是fetch阶段耗时；
  • 用GET _search/profile分析查询的每个步骤耗时，精准定位是wildcard查询、嵌套查询还是过滤条件拖慢了速度。

内容的提问来源于stack exchange，提问作者Gabi Kahlon