ClickHouse跨副本插入数据：无需逐个连接副本的优雅方案

核心前提：确保静态表在所有副本一致 #

你的问题根源在于静态表仅存在于单个副本，导致分布式关联查询时部分节点无法获取静态数据。首先要解决静态表的副本一致性问题，再实现无需逐个连接副本的批量插入。

方案1：将静态表改为ReplicatedMergeTree引擎 #

把原静态非分布式MergeTree表替换为ReplicatedMergeTree，借助ZooKeeper实现所有副本的数据自动同步：

1. 用ON CLUSTER语句创建Replicated表（确保所有节点同时创建表结构）：

   CREATE TABLE static_table ON CLUSTER your_cluster
   (
       id Int64,
       value String
   ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{cluster}/static_table', '{replica}')
   ORDER BY id;
   

2. 一次性插入静态数据（只需执行一次，ZooKeeper会同步到所有副本）：

   INSERT INTO static_table ON CLUSTER your_cluster VALUES (...);
   

3. 之后的插入逻辑直接使用本地关联：

   INSERT INTO dist_target_table
   SELECT d.col1, s.value
   FROM dist_source_table d
   JOIN static_table s ON d.id = s.id;
   

   此方案下每个节点的查询都会访问本地同步好的静态表，无需开启distributed_product_mode，性能不受影响。

方案2：用字典（Dictionary）替代静态表 #

如果静态表数据量小且更新频率极低，将其转为ClickHouse字典是更轻量的选择：

1. 创建字典配置文件（比如static_dict.xml），指定数据源为原静态表或本地文件，设置较长的lifetime（适配静态数据特性）：

   <dictionary>
       <name>static_dict</name>
       <source>
           <clickhouse>
               <host>localhost</host>
               <port>9000</port>
               <user>default</user>
               <password></password>
               <db>default</db>
               <table>static_table</table>
           </clickhouse>
       </source>
       <layout>
           <flat/>
       </layout>
       <lifetime>
           <min>3600</min>
           <max>7200</max>
       </lifetime>
       <structure>
           <id>id</id>
           <attribute>
               <name>value</name>
               <type>String</type>
               <null_value>''</null_value>
           </attribute>
       </structure>
   </dictionary>
   

2. 加载字典后，插入语句改用字典查询：

   INSERT INTO dist_target_table
   SELECT d.col1, dictGet('static_dict', 'value', d.id)
   FROM dist_source_table d;
   

   字典会在每个节点本地缓存数据，天然保证所有副本数据一致，且查询性能比表关联更高。

方案3：用分布式DDL同步静态表到所有副本 #

如果不想改动原静态表引擎，可以通过分布式DDL一次性将表结构和数据同步到所有副本：

1. 先在所有节点创建相同结构的静态表：

   CREATE TABLE static_table ON CLUSTER your_cluster
   (
       id Int64,
       value String
   ) ENGINE = MergeTree
   ORDER BY id;
   

2. 将单个副本的静态表数据同步到所有节点：

   INSERT INTO static_table ON CLUSTER your_cluster
   SELECT * FROM static_table WHERE hostName() = 'your_single_replica_host';
   

   此方案无需依赖ZooKeeper，适合没有部署ReplicatedMergeTree集群的场景，后续插入逻辑同方案1。

最优实现思路 #

优先选择方案1（ReplicatedMergeTree），它既保证了静态表的自动同步，又能兼容原有的表关联逻辑，性能损耗极低；如果静态表数据量极小，方案2（字典）是性能最优的选择；若集群未部署ZooKeeper，则用方案3快速同步静态表。

内容的提问来源于stack exchange，提问作者Chris