如何高效从CSV文件向ClickHouse表插入数据并跳过重复项？

下面是几种实用且高效的处理方式，可根据你的场景选择：

一、利用ReplacingMergeTree引擎自动去重（推荐批量导入场景） #

如果你的表还未创建，直接采用ReplacingMergeTree引擎，它会在后台合并数据时自动完成去重，导入阶段无需额外检查，速度最快：

1. 创建表时指定主键与去重逻辑：

CREATE TABLE data_pool (
    id Int64,
    name String,
    create_time DateTime
) ENGINE = ReplacingMergeTree(create_time) -- 以时间戳作为版本标识，新数据会替换旧数据
PRIMARY KEY (id); -- 主键作为判断重复的依据

2. 正常执行你的导入命令即可：

cat data.csv | clickhouse-client --config-file=config.xml --query="INSERT INTO data_pool FORMAT CSVWithNames"

• 优势：导入速度无损耗，后台自动处理去重
• 注意：去重并非实时生效，需等待ClickHouse触发合并操作；也可手动执行OPTIMIZE TABLE data_pool FINAL强制合并，但大表不建议频繁操作

二、导入时实时过滤重复项（适合需即时去重的场景） #

通过INSERT ... SELECT结合NOT EXISTS子查询，在导入阶段直接过滤掉已存在的数据：

cat data.csv | clickhouse-client --config-file=config.xml --query="
INSERT INTO data_pool 
SELECT * 
FROM input('id Int64, name String, create_time DateTime') -- 需与CSV列顺序、目标表结构一致
FORMAT CSVWithNames 
WHERE NOT EXISTS (
    SELECT 1 FROM data_pool WHERE data_pool.id = input.id
)"

• 注意：必须明确写出input()的列定义，确保与CSV及目标表结构匹配
• 劣势：导入时会触发查询对比，数据量较大时会增加导入耗时

三、借助临时表批量过滤（平衡速度与即时性） #

先将CSV导入内存临时表，再批量过滤插入，减少目标表的锁竞争：

1. 创建与目标表结构一致的临时表：

CREATE TABLE temp_data_pool ENGINE = Memory AS data_pool;

2. 导入CSV到临时表：

cat data.csv | clickhouse-client --config-file=config.xml --query="INSERT INTO temp_data_pool FORMAT CSVWithNames"

3. 过滤重复后插入目标表：

INSERT INTO data_pool 
SELECT * FROM temp_data_pool 
WHERE NOT EXISTS (SELECT 1 FROM data_pool WHERE data_pool.id = temp_data_pool.id);

4. 清理临时表：

DROP TABLE temp_data_pool;

• 优势：比直接实时过滤更快，临时表采用Memory引擎读写极快，批量插入能降低目标表压力

内容的提问来源于stack exchange，提问作者Greg