ClickHouse ReplacingMergeTree分区未合并：OPTIMIZE FINAL无效求助

问题背景 #

我有一张基于ReplacingMergeTree引擎的ClickHouse大表chatprogram.messages，包含约100亿行数据，按toYYYYMM(ts)按月分区，数据最早回溯至2013年12月。当前遇到的问题是：分区内的分片（parts）无法合并，重复行无法被永久消除。

表结构如下：

CREATE TABLE chatprogram.messages 
(
    `ts` DateTime64(3) CODEC(Delta(8), ZSTD(3)),
    `channel` LowCardinality(String),
    `author` String CODEC(ZSTD(5)),
    `content` String CODEC(ZSTD(5)),
    `author_id` Nullable(UInt64) CODEC(ZSTD(1)),
    PROJECTION channel_log_dates
    (
        SELECT
            channel,
            toDateTime(toStartOfDay(ts)) AS date
        GROUP BY
            channel,
            date
    )
)
ENGINE = ReplacingMergeTree
PARTITION BY toYYYYMM(ts)
ORDER BY (channel, author, ts)
TTL toDateTime(ts) + toIntervalYear(4) TO VOLUME 's3_disk_cached'
SETTINGS index_granularity = 8192, storage_policy = 's3_tiered_policy'

执行针对202201分区（约1GB）的OPTIMIZE命令：

OPTIMIZE TABLE chatprogram.messages PARTITION '202201' FINAL;
Ok. (returns in 0.003 sec)

但查询system.parts仍显示该分区有46个活跃分片。虽然使用SELECT FINAL可以在查询时临时去除重复行，但希望通过合并操作永久消除重复。

当前相关配置：

max_parts_to_merge_at_once = 100
max_bytes_to_merge_at_max_space_in_pool = 161061273600 (about 161GB)
min_bytes_for_wide_part = 10485760 (10MB)

已确认无正在进行的合并或mutation操作，该分区已通过ALTER TABLE命令移至本地SSD存储，I/O不应是限制因素。

可能的原因分析 #

• OPTIMIZE命令的隐性执行条件：
  ReplacingMergeTree的OPTIMIZE FINAL并非无条件强制合并所有分片，当分片满足以下情况时会被跳过：

  1. 分片已被标记为"最终状态"（如已完成合并的大分片，或合并优先级被判定为极低）；
  2. TTL与存储策略的冲突：虽然分区移至本地SSD，但TTL规则指向远程存储s3_disk_cached，内部逻辑可能抑制了合并操作；
  3. 投影（PROJECTION）的影响：表中定义的channel_log_dates投影需要同步处理，可能存在内部逻辑导致合并未触发。

• 配置参数的隐性限制：
  尽管max_parts_to_merge_at_once=100大于当前46个分片，但ClickHouse的合并调度器可能认为当前分片的合并收益极低（比如单分片大小接近min_bytes_for_wide_part），因此跳过合并。

强制合并消除重复的解决方案 #

1. 显式添加DEDUPLICATE参数执行OPTIMIZE #

使用带DEDUPLICATE的命令，明确触发去重合并逻辑：

OPTIMIZE TABLE chatprogram.messages PARTITION '202201' FINAL DEDUPLICATE;

2. 临时调整分片大小阈值触发合并 #

临时降低min_bytes_for_wide_part，让ClickHouse判定当前分片需要合并：

ALTER TABLE chatprogram.messages MODIFY SETTING min_bytes_for_wide_part = 1048576; -- 临时改为1MB

执行合并后再恢复原配置：

ALTER TABLE chatprogram.messages MODIFY SETTING min_bytes_for_wide_part = 10485760; -- 改回10MB

3. 分批次合并分片 #

如果直接合并所有分片失败，可从system.parts获取分片名称，分批次合并：
先查询分片名称：

SELECT name FROM system.parts WHERE table = 'messages' AND partition = '202201' AND active = 1;

然后分批执行合并：

OPTIMIZE TABLE chatprogram.messages PARTITION '202201' FINAL PARTS 'part_1', 'part_2', ..., 'part_20';

完成多批次合并后，再执行一次全分区的OPTIMIZE FINAL。

4. 临时禁用TTL规则 #

TTL指向远程存储可能干扰本地合并，临时移除TTL后执行合并：

ALTER TABLE chatprogram.messages REMOVE TTL;

合并完成后重新添加TTL：

ALTER TABLE chatprogram.messages ADD TTL toDateTime(ts) + toIntervalYear(4) TO VOLUME 's3_disk_cached';

5. 重新移动分区触发合并 #

即使分区已在本地SSD，重新移动分区可触发内部合并逻辑：

ALTER TABLE chatprogram.messages MOVE PARTITION '202201' TO VOLUME 'default'; -- 假设default为本地SSD卷

移动完成后立即执行OPTIMIZE TABLE chatprogram.messages PARTITION '202201' FINAL;

内容的提问来源于stack exchange，提问作者Cherona