如何在CockroachDB集群中将写密集表分片至不同节点

问题根源 #

当你通过ALTER TABLE SPLIT AT拆分现有range时，新生成的range会继承原range的副本集合和lease holder配置，所以所有拆分后的range都会落在同一组节点上，导致写入请求集中到单个lease holder，引发热点和写入失败。

解决方案 #

1. 拆分时显式指定副本分布 #

在执行SPLIT AT时，通过WITH REPLICATION参数直接为每个新range指定不同的副本节点组，强制让分片分布到集群不同节点。

示例命令：

-- 拆分并指定第一组副本
ALTER TABLE write_heavy_table SPLIT AT VALUES (1) WITH REPLICATION (
    replicas = '{1,3,5}'
);

-- 拆分并指定第二组副本
ALTER TABLE write_heavy_table SPLIT AT VALUES (2) WITH REPLICATION (
    replicas = '{2,4,6}'
);

-- 依此类推，为每个拆分点分配不同的节点组
ALTER TABLE write_heavy_table SPLIT AT VALUES (3) WITH REPLICATION (
    replicas = '{3,5,7}'
);

ALTER TABLE write_heavy_table SPLIT AT VALUES (4) WITH REPLICATION (
    replicas = '{4,6,8}'
);

执行后再用SHOW RANGES FROM TABLE write_heavy_table;验证，每个range的replicas会分布到不同节点组，lease holder也会随之分散。

2. 使用分区表+副本放置约束 #

如果你的表已经用USING HASH WITH BUCKET_COUNT定义了哈希主键，可以进一步将每个哈希桶映射为独立分区，并为每个分区指定不同的副本放置策略，从创建表阶段就避免热点。

示例：

CREATE TABLE write_heavy_table (
    sequence  BIGINT NOT NULL,
    id        TEXT NOT NULL,
    count     BIGINT NOT NULL,
    PRIMARY KEY (sequence, id) USING HASH WITH BUCKET_COUNT = 5
) PARTITION BY HASH (sequence) INTO (
    PARTITION p0 WITH REPLICATION (replicas = '{1,3,5}'),
    PARTITION p1 WITH REPLICATION (replicas = '{2,4,6}'),
    PARTITION p2 WITH REPLICATION (replicas = '{3,5,7}'),
    PARTITION p3 WITH REPLICATION (replicas = '{4,6,8}'),
    PARTITION p4 WITH REPLICATION (replicas = '{5,7,1}')
);

这种方式会直接为每个哈希分区分配独立的副本组，无需后续手动拆分，创建完成后每个分区的range就会分布到不同节点。

3. 提前调整集群平衡策略（辅助优化） #

默认情况下，CockroachDB对空range的平衡优先级较低，你可以调整集群的平衡阈值，让空range更快被重新分布：

SET CLUSTER SETTING kv.snapshot_rebalance.max_rate = '100MiB';
SET CLUSTER SETTING rebalance.range_movement_delay = '0s';

这两个设置可以加快空range的副本迁移速度，即使拆分后没有显式指定副本，也能让集群更快完成分片的分散（不过还是推荐前两种主动控制的方式）。

验证方法 #

执行完上述操作后，用以下命令确认分片分布：

SHOW RANGES FROM TABLE write_heavy_table;

检查每个range的replicas和lease_holder字段，确认它们分散在不同节点上即可。

内容的提问来源于stack exchange，提问作者Jim Meyer