Elastic中如何限制单文档索引的唯一词条数量至1000？

Elasticsearch 本身没有原生的索引模板或集群/索引级配置可以直接限制单个文档的唯一词条数量，但可以通过以下两种方案实现需求：

1. 使用Ingest Pipeline结合脚本处理器 #

在文档索引前，通过Painless脚本统计目标字段的唯一词条，截断超出1000的部分后再写入索引。

示例实现： #

假设需要处理的字段为content，创建如下Ingest Pipeline：

PUT _ingest/pipeline/limit_unique_terms
{
  "processors": [
    {
      "script": {
        "source": """
          // 按实际分词逻辑提取词条，示例用正则匹配单词
          def tokenMatcher = /\w+/.matcher(ctx.content);
          def uniqueTerms = new HashSet();
          def filteredTokens = [];
          
          while (tokenMatcher.find() && uniqueTerms.size() < 1000) {
            def token = tokenMatcher.group();
            if (uniqueTerms.add(token)) {
              filteredTokens.add(token);
            }
          }
          
          // 将过滤后的词条重新组合为字符串，覆盖原字段
          ctx.content = filteredTokens.join(' ');
        """
      }
    }
  ]
}

使用该管道索引文档时，只需在请求中指定pipeline=limit_unique_terms即可。

注意：脚本中的分词逻辑需要和字段实际使用的索引分词器保持一致，避免统计的词条与实际索引词条出现偏差。如果涉及多字段，需为每个字段添加对应的处理逻辑。

2. 自定义分词器+脚本令牌过滤器 #

通过自定义分词器，添加一个脚本令牌过滤器，在分词阶段直接截断超出数量的唯一令牌，从根源上限制索引的词条数。

示例索引模板配置： #

PUT _index_template/limited_term_template
{
  "index_patterns": ["your-target-index-*"],
  "settings": {
    "analysis": {
      "analyzer": {
        "limited_unique_analyzer": {
          "tokenizer": "standard",
          "filter": ["lowercase", "unique_term_limit_filter"]
        }
      },
      "filter": {
        "unique_term_limit_filter": {
          "type": "script",
          "script": {
            "source": """
              def uniqueTerms = new HashSet();
              def filteredTokens = [];
              
              for (token in tokens) {
                def term = token.getTerm().utf8ToString();
                if (uniqueTerms.size() < 1000 && uniqueTerms.add(term)) {
                  filteredTokens.add(token);
                }
              }
              
              return filteredTokens;
            """
          }
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "limited_unique_analyzer"
      }
    }
  }
}

注意：该方案在分词阶段处理，能精准控制索引的词条数量，但需关注脚本性能，避免因复杂逻辑拖慢索引速度。

内容的提问来源于stack exchange，提问作者siddhartha chakraborty