如何在索引时根据语言字段为多语言文本字段条件化应用分词器？

无需为每种语言创建单独字段，通过以下步骤实现统一处理：

1. 创建多语言处理的Ingest Pipeline #

利用Elasticsearch的Ingest Pipeline，根据lang字段的值匹配对应语言的分词器，将处理后的词（已完成分词、词干提取、停用词过滤）存入统一的processed_text字段。

示例Pipeline定义：

PUT _ingest/pipeline/multi_lang_processing
{
  "processors": [
    {
      "script": {
        "source": """
          // 映射语言缩写到对应分词器，按需补充20余种语言的配置
          def analyzer_map = [
            'en': 'english',
            'zh': 'ik_max_word',
            'es': 'spanish',
            'fr': 'french',
            'de': 'german',
            'ja': 'kuromoji_tokenizer'
          ];
          // 匹配对应分词器，默认用standard分词器兜底
          def target_analyzer = analyzer_map.get(ctx.lang, 'standard');
          // 调用分词API处理原始文本
          def analyzed_result = _analyze(target_analyzer, ctx.input_text);
          // 提取分词后的词，存入processed_text字段
          ctx.processed_text = analyzed_result.tokens.stream().map(token -> token.token).collect(Collectors.toList());
        """,
        "lang": "painless"
      }
    }
  ]
}

2. 创建索引并绑定Pipeline #

创建索引时，将processed_text设为keyword类型（方便聚合生成词云），并设置默认Pipeline自动处理文档：

PUT multi_lang_index
{
  "mappings": {
    "properties": {
      "input_text": {"type": "text"},
      "lang": {"type": "keyword"},
      "processed_text": {"type": "keyword"} // 存储处理后的单个词，支持聚合统计
    }
  },
  "settings": {
    "index.default_pipeline": "multi_lang_processing" // 索引时自动触发处理流程
  }
}

3. Kibana生成统一词云 #

在Kibana仪表盘中：

• 选择目标索引multi_lang_index
• 创建词云可视化，选择processed_text字段的Terms聚合
• 配置聚合参数（如设置显示Top N高频词），即可生成涵盖所有语言、经过标准化处理的单一词云

注意事项 #

• 部分语言的分词器需要提前安装对应插件（如中文IK分词器、日文Kuromoji分词器）
• 可根据需求调整分词器配置（如更换更轻量的分词器、自定义停用词表）
• 若需优化性能，可对高频语言的分词逻辑做缓存处理

内容的提问来源于stack exchange，提问作者Eugene Cha