Elasticsearch ignore_above设置无效及通配符查询失败求助

一、问题仍存在的原因 #

1. Logstash自动模板覆盖自定义mapping
   默认情况下Logstash的elasticsearch输出插件会自动生成索引模板（manage_template: true），如果你的自定义mapping和自动模板冲突，会导致library_notes.keyword的ignore_above设置不生效，写入时字段仍被截断，出现"ignored":"library_notes"的问题。

2. 通配符查询的字段选择错误
   你使用的"lim *ze peng"通配符查询如果是针对library_notes（text类型）字段，由于text字段会被分词为单个词（比如Lim Tze Peng会拆成["lim", "tze", "peng"]），通配符模式无法匹配分词后的结构。另外如果keyword字段是大小写敏感的，查询字符串的大小写和存储内容不一致也会导致匹配失败。

3. Logstash Filter阶段修改了字段内容
   如果你的Logstash配置中存在mutate等filter对library_notes字段做了截断、替换操作，会导致最终写入ES的字段内容不完整，既触发ignore逻辑，也无法匹配查询。

二、正确的重新索引步骤 #

1. 提前创建带正确mapping的索引 #

首先手动创建目标索引，确保library_notes.keyword的ignore_above设置生效，若需要大小写不敏感查询，可添加小写归一化器：

PUT /your_target_index
{
  "settings": {
    "analysis": {
      "normalizer": {
        "lowercase_norm": {
          "type": "custom",
          "filter": ["lowercase"]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "library_notes": {
        "type": "text",
        "fields": {
          "keyword": {
            "type": "keyword",
            "ignore_above": 50000,
            "normalizer": "lowercase_norm" // 可选，用于大小写不敏感匹配
          }
        }
      }
      // 其他字段的mapping配置
    }
  }
}

执行后用GET /your_target_index/_mapping验证配置是否正确。

2. 调整Logstash输出配置 #

修改Logstash的elasticsearch输出部分，禁用自动模板管理，指定目标索引，避免覆盖自定义mapping：

output {
  elasticsearch {
    hosts => ["http://your_es_host:9200"]
    index => "your_target_index"
    manage_template => false # 关键：禁用自动模板
    document_id => "%{your_doc_id_field}" # 可选：保留原文档ID，避免重复数据
  }
  # 可选：添加stdout调试，查看字段是否完整
  stdout { codec => rubydebug }
}

3. 检查并清理Filter阶段的字段修改 #

检查Logstash的filter配置，确保没有对library_notes字段做截断、修改操作，比如删除类似以下的配置：

mutate {
  truncate => { "library_notes" => 1000 } # 这类截断会破坏字段内容
}

4. 执行重新索引 #

• 停止当前运行的Logstash进程
• 若之前已错误写入数据，可删除目标索引后重新创建（确保mapping正确）
• 启动Logstash，重新导入数据
• 导入完成后，用GET /your_target_index/_search查询验证字段是否正常，无ignored记录

5. 修正通配符查询语句 #

针对keyword字段执行通配符查询，若配置了小写归一化器，查询字符串可统一为小写：

GET /your_target_index/_search
{
  "query": {
    "wildcard": {
      "library_notes.keyword": "lim *ze peng"
    }
  }
}

内容的提问来源于stack exchange，提问作者Shi Eng Ng