ClickHouse集群中Null引擎表无法正确更新AggregatingMergeTree聚合值

可能原因 #

你的问题核心是集群环境下物化视图的重复部署+分片数据分布特性导致的：

1. 你通过ON CLUSTER创建物化视图时，集群的每个节点（共8个：4分片×2副本）都会生成一个独立的物化视图，所有这些物化视图都会监听本地的Null表插入事件。
2. Null表本身不存储数据，但插入操作会触发本地物化视图处理数据并写入当前节点所属分片的ReplicatedAggregatingMergeTree表。
3. 当你重复执行插入语句时，若客户端自动轮询连接集群的不同节点（或插入请求被分发到不同分片），前4次插入会分别覆盖4个分片，每个分片的data_agg表都会生成一个sumState(1)的状态；后续插入的请求会回到已写入过的分片，但由于ReplicatedAggregatingMergeTree的合并机制未及时触发（或22.11版本存在相关bug），新的sumState未被正确合并，导致查询总和停留在4。

另外，你使用的ClickHouse 22.11-alpine版本存在部分已知的集群同步与物化视图触发bug，可能加剧了该问题。

解决方案 #

方案1：避免物化视图重复部署

不要用ON CLUSTER创建物化视图，改为仅在每个分片的一个节点（如主副本）上创建物化视图，确保每个插入事件只会被处理一次：

-- 在每个分片的主副本节点分别执行（不要加ON CLUSTER）
CREATE MATERIALIZED VIEW default.data_agg_mv
TO default.data_agg AS
SELECT
    group_by,
    sumState(value) as value
FROM default.data
GROUP BY group_by;

方案2：改用Distributed源表统一处理

将源表data改为Distributed表，指向各节点的本地Null表，然后在单个节点创建物化视图监听这个Distributed表：

-- 先删除原有的ON CLUSTER的data表
DROP TABLE default.data ON CLUSTER '{cluster}';

-- 在每个节点创建本地Null表
CREATE TABLE default.data_local ON CLUSTER '{cluster}'
(
    id Int8,
    group_by String,
    value Int8
)
ENGINE = Null;

-- 创建Distributed表
CREATE TABLE default.data ON CLUSTER '{cluster}'
AS default.data_local
ENGINE = Distributed('{cluster}', default, data_local, rand());

-- 在单个节点创建物化视图（监听Distributed表）
CREATE MATERIALIZED VIEW default.data_agg_mv
TO default.data_agg AS
SELECT
    group_by,
    sumState(value) as value
FROM default.data
GROUP BY group_by;

方案3：优化查询语句

你的查询语句中多余的GROUP BY可能导致不必要的二次聚合，改为：

SELECT group_by, sumMerge(value) as value FROM default.data_agg_dis;

方案4：升级ClickHouse版本

22.11版本属于较旧的稳定版，存在部分集群相关的bug，建议升级到最新的LTS版本（如23.8+），修复已知的同步与物化视图问题。

验证步骤 #

1. 登录每个分片的节点，查询本地data_agg表的聚合状态：

SELECT group_by, sumMerge(value) FROM default.data_agg;

观察每个分片的数值，确认是否只有前4次插入的分片有数据，后续插入的分片是否未更新。
2. 手动触发ReplicatedAggregatingMergeTree的合并：

OPTIMIZE TABLE default.data_agg ON CLUSTER '{cluster}' FINAL;

合并后再次查询，看总和是否更新。

内容的提问来源于stack exchange，提问作者Donatas Veikutis