Elasticsearch中同值字段是否会为每个文档重复生成分词？

核心结论 #

对于100个X字段值均为"ABC"的文档，不会为每个文档单独生成分词并重复存储，因此不会导致集群存储量大幅增加。

底层机制说明 #

Elasticsearch的倒排索引设计从根源上避免了这种冗余存储：

• 当处理search-as-you-type字段时，首先对字段内容进行分词（结果取决于你配置的分词器，比如默认标准分词器会将"ABC"处理为单个词项abc）。
• 所有文档中相同的词项只会在倒排索引的词字典中保存一次，后续仅记录该词项对应的文档ID列表（这里就是包含这100个文档ID的列表）。
• 重复的字段值只会在正排索引（存储原始文档内容）中保存多次，但分词后的词项是共享存储的，不会额外增加大量存储开销。

存储优化建议 #

如果要进一步控制存储量，可以参考以下操作：

• 若字段值是固定短文本（如示例中的"ABC"），可以将search-as-you-type字段的分词器改为keyword，这样不会做分词拆分，直接以整值作为词项，进一步降低处理和存储成本。
• 避免为该字段开启不必要的附加功能，比如不需要排序或聚合的话，关闭doc_values；不需要脚本操作的话，关闭fielddata。
• 在业务低峰期执行POST /your_index/_forcemerge?max_num_segments=1操作，合并索引分段，减少磁盘碎片，提升存储利用率。

内容的提问来源于stack exchange，提问作者IN_DEV