如何构建/配置Cockroach集群实现全节点数据复制

你想要的是让CockroachDB集群的每个节点都存储完整的数据集，而非默认的分片+分布式副本模式，从而实现3节点集群中任意2个节点故障后仍能正常访问数据。之前用locality flag的思路不对——locality是用来控制副本在不同地理位置/机房的分布策略，无法强制所有节点存储全量数据，这也是你杀掉初始节点后查询失败的原因：默认配置下数据是分片存储的，初始节点可能持有某些分片的唯一可用副本（或者多数派副本）。

核心思路 #

CockroachDB通过Zone配置管理数据范围（Range）的副本数量和放置规则。要让每个节点存储全量数据，你需要：

• 将每个数据范围的副本数设置为集群的节点总数（这里是3）
• 添加放置约束，强制每个数据范围的副本必须分布在集群的所有节点上

具体配置步骤 #

1. 初始化集群时配置（推荐）

在启动第一个节点初始化集群时，直接指定默认Zone的副本数和约束：

cockroach start --insecure --store=node1 --listen-addr=localhost:26257 --http-addr=localhost:8080 --join=localhost:26257,localhost:26258,localhost:26259 --default-zone-config='num_replicas: 3, constraints: ["+nodeId=1", "+nodeId=2", "+nodeId=3"]'

然后依次启动另外两个节点：

# 节点2
cockroach start --insecure --store=node2 --listen-addr=localhost:26258 --http-addr=localhost:8081 --join=localhost:26257,localhost:26258,localhost:26259

# 节点3
cockroach start --insecure --store=node3 --listen-addr=localhost:26259 --http-addr=localhost:8082 --join=localhost:26257,localhost:26258,localhost:26259

2. 对已存在的集群修改配置

如果集群已经创建完成，可以通过SQL语句修改默认Zone配置（作用于所有数据库和表）：

ALTER RANGE default CONFIGURE ZONE USING
  num_replicas = 3,
  constraints = '{+nodeId=1, +nodeId=2, +nodeId=3}';

如果只想针对特定数据库或表生效，替换RANGE default为DATABASE your_db或TABLE your_db.your_table即可。

验证配置是否生效 #

执行以下SQL查看数据范围的副本分布，确认每个范围的副本都分布在3个节点上：

SHOW RANGES FROM TABLE your_table_name;

输出结果中，Replicas列会显示每个范围的3个副本对应的节点ID，确保所有节点都包含每个范围的副本。

关键注意事项 #

• 写入性能影响：由于每个写入操作需要同步到所有3个节点（多数派确认仍为2个，但实际所有节点都会写入），写入吞吐量会比默认配置有所下降，需要根据业务场景权衡。
• 节点扩容/缩容：如果后续调整集群节点数量，需要同步更新Zone配置中的num_replicas和constraints，否则会导致副本分布异常。
• 容错性：配置完成后，集群可以容忍n-1个节点故障（n为节点数），刚好满足你3节点丢2个仍可访问的需求。

内容的提问来源于stack exchange，提问作者Raphael Stefani