Clickhouse MergeTree物化视图未按小时聚合插入数据问题排查

1. 目标表引擎选择错误 #

如果hourly_max_stats使用的是普通MergeTree而非AggregatingMergeTree，物化视图只会存储每次向base_table插入数据时的即时聚合结果，不会自动合并同小时的记录。比如你分两次插入数据时，第一次会生成stats=10的记录，第二次生成stats=20的记录，两条数据会一直并存，无法自动合并为单条最大值记录。

解决办法：
将目标表改为AggregatingMergeTree引擎，同时用聚合状态字段存储最大值的计算状态，示例表结构：

CREATE TABLE hourly_max_stats
(
    hour DateTime,
    max_stats AggregateFunction(max, UInt64)
)
ENGINE = AggregatingMergeTree()
ORDER BY hour;

2. GROUP BY 时间粒度未正确截断 #

检查物化视图的SQL定义，确认是否将时间字段正确截断到小时级别。如果直接GROUP BY原始的带分钟/秒的DateTime字段（比如用event_time而非toStartOfHour(event_time)），两条记录的时间会被判定为不同分组，自然生成两条独立记录。

错误写法示例：

CREATE MATERIALIZED VIEW hourly_max_stats_mv TO hourly_max_stats AS
SELECT event_time, max(stats) FROM base_table GROUP BY event_time;

正确写法示例：

CREATE MATERIALIZED VIEW hourly_max_stats_mv TO hourly_max_stats AS
SELECT toStartOfHour(event_time) AS hour, maxState(stats) AS max_stats
FROM base_table
GROUP BY hour;

3. 聚合函数使用错误 #

即便用了AggregatingMergeTree，如果物化视图中直接使用max(stats)而非maxState(stats)，也无法累积聚合状态，每次插入仍会生成独立记录，无法自动合并。

查询时需要配合maxMerge函数解析聚合状态，获取最终最大值：

SELECT hour, maxMerge(max_stats) AS max_stats FROM hourly_max_stats GROUP BY hour;

4. 临时补救：手动触发合并 #

如果暂时无法修改表结构，可手动执行合并操作来合并同小时的记录，但频繁执行会影响性能，仅作为临时验证方案：

OPTIMIZE TABLE hourly_max_stats FINAL;

内容的提问来源于stack exchange，提问作者pranay jain