Elasticsearch多日同类型索引合并为单/双分片的最佳实践

针对你遇到的按日创建小索引导致分片过多的问题，核心思路分为处理现有历史索引和阻止未来小分片产生两部分，以下是具体方案：

一、高效合并现有历史索引 #

Elasticsearch没有原生的跨索引分片直接合并功能，因为分片是Lucene的独立数据单元，跨索引合并本质是数据重写，但可以通过优化操作大幅提升效率，替代低效的默认reindex：

1. 优化Reindex操作（推荐） #

通过调整参数降低reindex的资源开销，提升速度：

• 目标索引预配置优化：创建目标索引时临时关闭副本和自动刷新，减少同步和IO开销：

  PUT /A_Data_consolidated
  {
    "settings": {
      "number_of_shards": 1,  # 按需求设置1或2个分片
      "number_of_replicas": 0,
      "refresh_interval": "-1"
    },
    "mappings": {
      # 完全复制原A_Data_*索引的mapping结构，确保字段一致
    }
  }
  

• 执行批量Reindex：增大单次处理的数据量，使用滚动查询避免内存过载：

  POST _reindex
  {
    "source": {
      "index": "A_Data_*",  # 匹配所有同类型日索引
      "size": 5000  # 根据集群性能调整，比如5000-10000
    },
    "dest": {
      "index": "A_Data_consolidated"
    }
  }
  

• 完成后恢复配置：数据迁移完成后，恢复副本数和刷新间隔：

  PUT /A_Data_consolidated/_settings
  {
    "number_of_replicas": 1,
    "refresh_interval": "30s"
  }
  

2. 分批次合并（超大数据量场景） #

如果单批次reindex压力过大，可以按时间范围拆分任务，比如先合并某几周的索引，再将这些合并后的索引再次合并为最终索引，分散集群负载。

二、阻止未来产生小分片 #

解决根源问题，避免后续再出现数千个小分片的情况：

1. 配置索引模板 #

为每种数据类型创建专属索引模板，固定分片数，并调整索引创建周期（比如按月/季度创建，而非按日）：

PUT _index_template/A_Data_template
{
  "index_patterns": ["A_Data_*"],
  "template": {
    "settings": {
      "number_of_shards": 1,
      "number_of_replicas": 1
    },
    "mappings": {
      # 定义该数据类型的标准mapping结构
    }
  },
  "priority": 100  # 确保模板优先级高于开箱即用软件的默认模板
}

2. 使用索引生命周期管理（ILM） #

配置ILM策略，自动管理索引的生命周期：

• 按时间周期（如月度）滚动创建新索引
• 自动将旧索引合并或收缩，保持分片数量可控
• 自动删除过期数据，降低存储压力

注意事项 #

• 操作前务必备份数据，避免意外丢失
• 选择集群低峰期执行合并操作，减少对业务查询的影响
• 合并完成后，可以删除原有的日索引释放资源（确认数据无误后）

内容的提问来源于stack exchange，提问作者Amit Assa