Elasticsearch：同时提供routing key与自定义ID时如何确定分片选择？

核心结论 #

当同时提供Routing Key和自定义Document ID时，仅由Routing Key决定文档的分片归属，自定义Document ID不会参与分片计算过程。

底层逻辑 #

1. 默认分片计算规则：如果未指定Routing Key，Elasticsearch会通过hash(_id) % number_of_primary_shards计算文档应归属的分片，其中_id即自定义或自动生成的文档ID。
2. Routing Key的覆盖逻辑：一旦显式指定了Routing Key，系统会直接使用hash(routing_key) % number_of_primary_shards来确定分片，完全跳过基于Document ID的哈希计算。
3. 设计初衷：Routing Key的核心作用是将关联文档（比如父子文档、同用户的所有日志）强制路由到同一分片，以此避免跨分片查询带来的性能损耗。如果允许自定义Document ID干扰分片选择，会直接破坏Routing Key的设计目的。

关键考量因素 #

• 路由优先级：显式指定的Routing Key拥有最高优先级，无论是否提供自定义ID，都以Routing Key的哈希结果为准。
• 唯一性约束：自定义Document ID仅需保证同一分片内唯一，不同分片可以存在相同ID的文档。如果使用相同ID但不同Routing Key写入，会生成两个独立的文档（分属不同分片）。
• 性能与数据分布：使用Routing Key时需要注意数据分布的均衡性，如果Routing Key的取值过于集中，会导致部分分片数据量过大，引发性能瓶颈。

示例场景 #

假设某索引有3个主分片，写入文档时指定：

• 自定义Document ID：order_1001
• Routing Key：customer_789

此时分片计算为hash("customer_789") % 3，结果对应的分片就是该文档的存储位置，和order_1001这个ID完全无关。

内容的提问来源于stack exchange，提问作者GM_1