求助：ClickHouse单节点数据迁移至复制集群的可行方案

一、前置准备 #

• 确保目标复制集群的ZooKeeper集群运行正常，所有ClickHouse节点已配置好remote_servers与zookeeper节点，集群状态健康。
• 暂停单节点的所有写入操作，避免迁移期间数据不一致。

二、单节点数据导出 #

不建议直接修改备份元数据，推荐两种稳定导出方式：

方式1：小表用CSV导出 #

SELECT * INTO OUTFILE '/data/exports/table_name.csv' FORMAT CSVWithNames FROM your_db.your_table;

方式2：大表用BACKUP命令导出 #

先在单节点config.xml配置备份磁盘：

<disks>
  <backup_disk>
    <path>/data/backups/</path>
  </backup_disk>
</disks>

执行备份：

BACKUP DATABASE your_db TO Disk('backup_disk', 'your_db_backup');

三、复制集群创建对应表结构 #

核心是将原表引擎替换为ReplicatedMergeTree系列，原表字段、分区、排序规则完全保留：

CREATE TABLE your_db.your_table ON CLUSTER your_cluster
(
  id UInt64,
  content String,
  create_at DateTime
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{cluster}/your_db/your_table', '{replica}')
PARTITION BY toYYYYMM(create_at)
ORDER BY id;

说明：/clickhouse/tables/{cluster}/your_db/your_table是ZooKeeper存储路径，{replica}为节点标识（如node1、node2），需与集群配置匹配。

四、数据导入复制集群 #

方式1：CSV文件导入 #

将导出的CSV文件复制到集群任意节点，执行：

INSERT INTO your_db.your_table ON CLUSTER your_cluster FORMAT CSVWithNames FROM INFILE '/data/exports/table_name.csv';

复制表会自动同步数据至集群所有节点。

方式2：BACKUP恢复 #

将备份文件同步到集群所有节点的相同路径，在任意节点执行：

RESTORE DATABASE your_db FROM Disk('backup_disk', 'your_db_backup') ON CLUSTER your_cluster;

注意：恢复前需确保集群已创建好对应的Replicated表结构。

五、数据一致性验证 #

• 在集群各节点执行数据量校验与随机行对比：

SELECT count(*) FROM your_db.your_table;
SELECT * FROM your_db.your_table ORDER BY rand() LIMIT 10;

• 用ZooKeeper客户端检查表元数据路径：

zkCli.sh ls /clickhouse/tables/your_cluster/your_db/your_table

常见问题说明 #

• 直接修改备份元数据失败的原因：单节点表元数据无ZooKeeper关联信息，复制集群无法识别，必须重新创建Replicated表结构后再导入数据。
• 大表迁移建议按分区拆分导出/导入，避免内存溢出：

SELECT * INTO OUTFILE '/data/exports/table_202401.csv' FORMAT CSVWithNames FROM your_db.your_table WHERE toYYYYMM(create_at) = 202401;

内容的提问来源于stack exchange，提问作者Arpit Srivastava