使用_reindex API时Elasticsearch的ignore_above设置失效问题

问题根源 #

你误解了ignore_above的作用，同时遇到了Lucene单词条长度的硬限制。

原因拆解 #

1. ignore_above的实际作用：

   • 该参数针对的是字段原始值的UTF-8字节长度，而非分词后单个词条的长度。
   • 对于text类型字段：如果原始字段的字节长度超过设定值，整个字段不会被索引；但如果原始字段长度没超，可分词后生成的单个词条字节数超过Lucene默认上限（32766），依然会触发报错——这正是你遇到的情况。
   • 对于keyword类型字段：如果字段值字节长度超阈值，该字段会被忽略（不索引，但仍会存储）。

2. 索引A文档正常存在的可能原因：

   • 索引A的分词器与索引B不同（比如A用了拆分长文本的分词器，B未配置）；
   • 索引A创建时ignore_above阈值更大，现有文档是阈值修改前写入的（已索引文档不受后续映射修改影响）。

解决办法 #

办法1：调整分词器，避免生成超长词条

如果description字段需要支持搜索，将分词器改为更细粒度的类型（比如standard分词器，会自动按空格、标点拆分文本），确保分词后单个词条字节数不超过32766。

修改映射示例：

PUT /index_b/_mapping
{
  "properties": {
    "description": {
      "type": "text",
      "analyzer": "standard",
      "ignore_above": 32766
    }
  }
}

办法2：关闭字段索引（仅保留存储）

如果该字段仅需存储展示、不需要搜索，直接关闭索引功能：

PUT /index_b/_mapping
{
  "properties": {
    "description": {
      "type": "text",
      "index": false
    }
  }
}

办法3：改用keyword类型配合ignore_above

如果只需精确匹配、不需要分词搜索，将字段改为keyword类型：

PUT /index_b/_mapping
{
  "properties": {
    "description": {
      "type": "keyword",
      "ignore_above": 32766
    }
  }
}

这种情况下，字段值字节长度超过32766时会被忽略索引，但仍会存储，不会触发报错。

额外注意 #

• ignore_above的单位是UTF-8字节数，而非字符数。比如中文每个字符占3字节，32766字节约等于10922个中文字符。
• 执行_reindex前，确保索引B的映射已调整完成；若索引A存在旧的超长词条文档，需先清理或重新处理。

内容的提问来源于stack exchange，提问作者Marco Antonio Soares Júnior