Elasticsearch：强制自定义_id时如何实现分片数据均衡分布？

当然可以在保留自定义_id的前提下实现分片均衡，核心思路是绕过默认的_id哈希分片逻辑，改用更可控的路由策略，以下是几种实用方案：

1. 自定义路由键（Custom Routing） #

这是最直接的解决办法：

• 创建索引时，提前规划好分片数，可按需设置number_of_routing_shards（用于后续分片扩容的路由基数，可选但推荐）。
• 写入文档时，指定一个分布均匀的路由键替代默认的_id哈希逻辑，比如选择业务中天然均匀的字段（用户ID、地区编码、随机生成的分组ID等），通过routing参数指定：

  PUT /your_index/_doc/你的自定义_id?routing=均匀分布的路由键
  

• 这样文档会根据路由键的哈希值分配分片，只要路由键的分布足够均匀，就能保证各分片数据量均衡。

2. 对自定义_id做二次哈希路由 #

如果无法找到合适的业务字段作为路由键，可以对自定义_id本身做二次哈希处理：

• 用MD5、SHA1或Elasticsearch内置哈希函数对自定义_id计算后，将结果作为路由键：

  PUT /your_index/_doc/你的自定义_id?routing=hash(你的自定义_id)
  

• 即使原自定义_id分布不均（比如递增ID、前缀重复的ID），二次哈希后能打散数据，避免集中到少数分片。

3. 分片分配策略调整（事后优化） #

如果已经出现分片不均的情况，可以通过调整Elasticsearch的分片分配策略来平衡：

• 使用分片分配过滤器或权重设置，让Elasticsearch优先将数据分配到负载较低的分片。
• 执行分片重分配命令手动调整：

  POST /_cluster/reroute?pretty
  {
    "commands": [
      {
        "move": {
          "index": "your_index",
          "shard": 2,
          "from_node": "node1",
          "to_node": "node2"
        }
      }
    ]
  }
  

• 注意：这种方式属于被动调整，适合临时救急，长期来看还是需要从写入路由层面解决问题。

注意事项 #

• 使用自定义路由后，查询时如果不指定路由键，Elasticsearch会遍历所有分片查询，可能影响性能；业务允许的话，查询时尽量带上对应的路由键。
• number_of_routing_shards一旦设置无法修改，创建索引时要根据未来扩容需求合理规划。
• 对于已有不均数据的索引，需要通过重新索引（_reindex）将数据按新路由策略写入，才能彻底解决分片均衡问题。

内容的提问来源于stack exchange，提问作者Java2Avaj