ClickHouse集群：分布式表按不同分片节点实现数据分片

核心结论 #

你的需求完全可行，但需要调整分布式表的分片键逻辑——你当前的分片写法只是将同类型数据固定路由到单个分片，而非分散到多个节点。

原配置问题分析 #

你当前的分片键if(severity = 'INFO', 1, 3)是直接返回固定分片编号，这会导致：

• 所有severity='INFO'的记录全部写入分片1（对应节点CHN1）
• 所有非INFO记录全部写入分片3（对应节点CHN3）
  这就是数据集中在单个节点的原因，并非规则未生效，而是规则逻辑不符合你的需求。

实现需求的分片配置 #

要实现INFO记录分散到2个节点、其余记录到1个节点的效果，需要用哈希函数生成可变的分片编号，让INFO数据均匀分布到指定分片。以下是具体实现方案：

示例创建语句

CREATE TABLE db1.hosts_distr ON CLUSTER cluster1
AS db1.hosts
ENGINE = Distributed(
    cluster1,
    db1,
    hosts,
    -- INFO日志用host字段哈希，均匀分配到分片1、2；非INFO固定到分片3
    if(severity = 'INFO', jumpConsistentHash(host, 2) + 1, 3)
);

逻辑说明

• 对于severity='INFO'的记录：
  使用jumpConsistentHash(host, 2)生成0或1的哈希值，加1后对应集群的分片1（CHN1）和分片2（CHN2），实现INFO数据在两个节点均匀分布。
• 对于非INFO记录：
  直接指定分片编号3，全部写入CHN3节点。

可选优化

如果需要更均匀的分布，可以结合多个字段生成哈希，比如：

if(severity = 'INFO', jumpConsistentHash(concat(host, toString(timestamp)), 2) + 1, 3)

注意事项 #

• 分片编号必须和集群配置中的shard顺序对应（你的集群shard依次为1、2、3，对应CHN1、CHN2、CHN3）。
• 分布式表的分片键需要是能生成不同值的表达式，才能实现数据分散；固定值只会路由到单个分片。

内容的提问来源于stack exchange，提问作者Majid Chaudhary