从ClickHouse导出大数据至本地MySQL/PostgreSQL的方案咨询

一、解决DBeaver导出CSV的行数限制问题 #

DBeaver默认的导出行数限制是进程终止的直接原因，按以下步骤修改配置即可解决：

• 打开DBeaver，依次点击「编辑」→「首选项」→「数据库」→「导出/导入」→「数据导出」
• 找到「限制行数」选项，取消勾选或设置为0（表示无行数限制）
• 开启「分批导出」功能，设置合理的每批行数（比如100000），避免单次导出占用过多内存导致进程崩溃

二、直接同步ClickHouse数据到本地MySQL/PostgreSQL #

无需生成中间文件，直接通过ClickHouse的外部表引擎完成跨库同步，效率更高：

同步到MySQL #

1. 在ClickHouse中创建映射本地MySQL的外部表：

CREATE TABLE mysql_target_table
ENGINE = MySQL('localhost:3306', 'your_local_mysql_db', 'target_table_name', 'mysql_username', 'mysql_password')
AS SELECT * FROM clickhouse_source_table;

2. 执行数据同步：

INSERT INTO mysql_target_table SELECT * FROM clickhouse_source_table;

同步到PostgreSQL #

1. 在ClickHouse中创建映射本地PostgreSQL的外部表：

CREATE TABLE pg_target_table
ENGINE = PostgreSQL('localhost:5432', 'your_local_pg_db', 'target_table_name', 'pg_username', 'pg_password')
AS SELECT * FROM clickhouse_source_table;

2. 执行数据同步：

INSERT INTO pg_target_table SELECT * FROM clickhouse_source_table;

注意：同步前需确保本地库已创建对应结构的目标表（或让ClickHouse自动创建，需外部表引擎权限）；同时核对数据类型兼容性，比如ClickHouse的DateTime与MySQL的DATETIME、Decimal类型精度等。

三、用ClickHouse原生工具导出大体积CSV文件 #

使用clickhouse-client命令行工具绕过DBeaver限制，支持导出任意大小的CSV文件：

基础导出命令 #

clickhouse-client --query "SELECT * FROM clickhouse_source_table" --format CSV > /your/local/path/exported_data.csv

• 需带表头的CSV，改用--format CSVWithNames
• 取消行数限制：添加--max_result_rows 0参数
• 超大数据量时，添加外部处理参数避免内存溢出：

clickhouse-client --query "SELECT * FROM clickhouse_source_table" --format CSV --max_result_rows 0 --max_bytes_before_external_group_by 1073741824 > /your/local/path/exported_data.csv

导出后导入到本地数据库 #

导入到MySQL

LOAD DATA INFILE '/your/local/path/exported_data.csv'
INTO TABLE target_table
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS; -- 导出用了CSVWithNames才需要此行

导入到PostgreSQL

COPY target_table FROM '/your/local/path/exported_data.csv' WITH (FORMAT csv, HEADER);

四、超大数据量的分批处理建议 #

如果数据量达GB级，建议按时间、ID等维度分批次导出/同步：

-- 按日期分区导出CSV
clickhouse-client --query "SELECT * FROM clickhouse_source_table WHERE dt >= '2024-01-01' AND dt < '2024-01-08'" --format CSVWithNames > part_20240101.csv

-- 分批同步到MySQL
INSERT INTO mysql_target_table SELECT * FROM clickhouse_source_table WHERE id BETWEEN 1 AND 100000;
INSERT INTO mysql_target_table SELECT * FROM clickhouse_source_table WHERE id BETWEEN 100001 AND 200000;

内容的提问来源于stack exchange，提问作者GIRIXH