ClickHouse使用ReplacingMergeTree插入去重数据的正确方法是什么？

首先需要明确你遇到重复数据的核心原因：ReplacingMergeTree 的去重逻辑并非在数据写入时实时执行，而是仅在后台异步合并数据分区的时候才会触发去重，在合并操作执行前，同排序键的重复数据会暂时保留在表中。
你当前的建表逻辑已经满足基础要求：ORDER BY 设置的(ticker, kline_type, dateTime)正好是你需要判重的三元组，ReplacingMergeTree会将排序键完全相同的行判定为重复行。
以下是完整的正确使用方案： #

1. 临时解决查询时出现重复数据的问题 #

如果不需要改动表结构，只需要查询时拿到去重后的结果，可以选择两种方式：

• 查询语句末尾加FINAL关键字，查询时会实时对数据做去重处理，示例：

  SELECT * FROM historical_data_binance FINAL WHERE ticker = 'BTCUSDT'
  

  注意：该操作会增加查询性能开销，数据量较大时不建议高频使用。
• 手动触发分区合并强制去重，执行以下SQL即可：

  OPTIMIZE TABLE historical_data_binance FINAL
  

  注意：该操作属于重IO操作，会占用大量服务器资源，生产环境不要频繁执行。

2. 优化建表逻辑，明确去重保留规则 #

默认情况下ReplacingMergeTree合并时会保留重复行中最后写入的那一行，如果需要明确指定保留规则（比如保留最新更新的版本），可以在建表时新增版本字段，示例：

CREATE TABLE IF NOT EXISTS historical_data_binance
(
    dateTime DateTime,
    closeTime Int64,
    open Float64,
    high Float64,
    low Float64,
    close Float64,
    volume Float64,
    kline_type String,
    ticker String,
    -- 新增写入时间作为版本字段
    update_time DateTime DEFAULT now()
) ENGINE = ReplacingMergeTree(update_time)
ORDER BY (ticker, kline_type, dateTime)

以上配置下，合并时同一个三元组的重复数据，会自动保留update_time最大的那一行，避免旧数据覆盖新数据。 #

3. 实现写入时绝对不产生重复数据 #

如果要求写入阶段就直接避免重复数据入库，可以在插入数据时搭配NOT EXISTS判断，示例插入逻辑：

-- 假设待插入的数据存在临时表temp_kline中
INSERT INTO historical_data_binance
SELECT * FROM temp_kline t
WHERE NOT EXISTS (
    SELECT 1 FROM historical_data_binance h
    WHERE h.ticker = t.ticker AND h.kline_type = t.kline_type AND h.dateTime = t.dateTime
)

该方式会在写入前判断待插入数据是否已存在，仅写入不存在的新数据，适合对写入性能要求不高的场景。 #

内容的提问来源于stack exchange，提问作者Alex