ClickHouse ReplicatedMergeTree去重机制疑问：为何按行而非批次哈希去重

核心问题：你混淆了两种完全不同的去重机制 #

ReplicatedMergeTree默认的批次block_id去重和你实际遇到的行级唯一键去重是两个独立的逻辑：

• 默认的block_id批次去重：
  这个机制仅针对完全一模一样的数据块生效——比如重复提交同一个INSERT语句、副本同步时产生的重复块。你的三次插入批次内容各不相同，对应的block_id肯定不一样，所以这三个批次都会被正常插入，不会被这个机制过滤。

• 你实际遇到的是行级去重：
  这说明你的表大概率开启了unique_key参数（ClickHouse 21.12及以上版本支持），或者误使用了ReplicatedReplacingMergeTree引擎。
  当表配置了unique_key = (event_date, page_url)时，ClickHouse会在插入阶段直接对相同唯一键的行去重，不管这些行属于哪个批次。你的三次插入里，所有行的唯一键组合只有3种，重复的行都会被自动丢弃，最终就只保留了3行唯一记录。

验证方式 #

执行以下SQL查看表的具体配置：

DESCRIBE TABLE traffic_2_test;

如果输出里有unique_key字段且值为(event_date, page_url)，或者引擎显示为ReplicatedReplacingMergeTree，就能确认问题根源。

补充说明 #

ReplicatedMergeTree本身不会自动对行级重复数据去重，它的block_id去重只是用来避免完全重复的块被多次插入。如果不需要行级去重，只需移除unique_key配置，或者确保使用的是纯ReplicatedMergeTree引擎（而非Replacing变种）。

内容的提问来源于stack exchange，提问作者Dmitry Sheykin