如何让ClickHouse分布式插入查询在各分片本地执行？

针对你的场景，完全可以实现让关联插入逻辑自动在每个分片本地执行，无需手动逐个操作节点，以下是两种可行方案：

方案一：使用ON CLUSTER子句批量执行本地插入 #

利用ClickHouse的ON CLUSTER语法，直接提交一条语句让集群内每个分片节点执行本地插入逻辑：

INSERT INTO local_b ON CLUSTER your_cluster_name
SELECT sum(t1.click), t1.user_id 
FROM local_a t1 
LEFT JOIN table_mysql t2 ON t1.user_id = t2.user_id 
GROUP BY t1.user_id

• 替换your_cluster_name为实际集群名称，语句会自动在每个分片的节点上执行本地插入，副本数据会通过ClickHouse的复制机制自动同步
• 无需手动登录每个节点操作，简化执行流程

方案二：调整会话参数让分布式插入自动本地化执行 #

结合你的场景特性（同user_id数据在同一分片、table_mysql各分片数据一致），通过设置会话参数让原分布式插入语句自动在本地分片处理：

1. 先设置会话级参数：

SET distributed_product_mode = 'local';

2. 执行原分布式插入语句：

INSERT INTO distributed_b 
SELECT sum(t1.click), t1.user_id 
FROM distributed_a t1 
LEFT JOIN table_mysql t2 ON t1.user_id = t2.user_id 
GROUP BY t1.user_id

• distributed_product_mode = 'local'会让ClickHouse将分布式表与本地表（含MySQL引擎表）的关联查询下推到分片本地执行，仅处理当前分片的distributed_a数据（即对应local_a），与本地table_mysql关联聚合后写入本地local_b，再通过分布式表的复制机制同步到副本
• 效果等同于手动在每个分片执行本地插入，但无需额外操作节点

注意事项 #

• 确认distributed_a的分片键基于user_id，确保同user_id数据不会跨分片分布，保证本地聚合结果与全局一致
• 确保所有分片节点上的table_mysql配置一致、数据同步，避免不同分片关联结果出现差异
• 执行操作的用户需具备集群级别的操作权限

内容的提问来源于stack exchange，提问作者Eulery