ClickHouse集群中Kafka引擎表异常：数据仅写入Shard1无数据到Shard2

针对你遇到的ClickHouse集群数据仅写入Shard1、Shard2无数据的问题，可按以下步骤逐一排查：

1. 验证Kafka引擎表的集群路由与消费配置 #

• 确认Kafka表的ON CLUSTER语句正确关联目标集群，且消费策略适配分片架构：
  • 执行以下命令查看Kafka表DDL：

    SHOW CREATE TABLE kafka_source_table ON CLUSTER {cluster_name};
    

  • 检查是否设置了合理的kafka_num_consumers（建议值与Kafka Topic分区数匹配，且不超过集群总节点数），若消费数过少或分区分配规则错误，会导致部分分片节点无法获取消费任务。
  • 确认Kafka表未指定固定的shard_key或路由规则，避免数据全部导向单一分片。

2. 检查物化视图的写入目标逻辑 #

• 确保物化视图的写入目标是分布式表，而非直接写入本地Replicated表：
  • 正确的链路应为：Kafka引擎表（集群级）→ 物化视图 → 分布式表（ON CLUSTER）→ 本地ReplicatedReplacingMergeTree表
  • 若直接写入本地表，需保证每个分片的所有副本节点都在独立消费Kafka（通过不同消费组或分区分配），否则仅Shard1节点会完成数据写入。
  • 查看物化视图的DDL：

    SHOW CREATE TABLE mv_kafka_to_local ON CLUSTER {cluster_name};
    

3. 核对Kafka Topic分区与集群分片的匹配性 #

• 检查Kafka Topic的分区数量：若Topic仅1个分区，ClickHouse集群只会有1个节点（通常是Shard1的节点）获得消费权限，导致数据仅写入Shard1。
• 通过Kafka命令行工具查看Topic分区：

  kafka-topics.sh --describe --topic your_topic_name --bootstrap-server kafka_broker:9092
  

• 确保Topic分区数≥集群分片数，且ClickHouse的Kafka消费配置（如kafka_consumer_group）未导致分区集中分配到Shard1节点。

4. 检查集群元数据一致性 #

• 在所有节点执行以下命令，确认Shard2的节点注册、分片/副本配置正确：

  SELECT cluster, shard_num, replica_num, host_name, port FROM system.clusters WHERE cluster = '{cluster_name}';
  

• 若部分节点的集群元数据不一致，需同步ClickHouse的集群配置文件（config.d/clusters.xml）并重启节点。
• 查看分布式表的路由规则，确认shard_key能将数据均匀分发到两个分片：

  SHOW CREATE TABLE distributed_target_table ON CLUSTER {cluster_name};
  

5. 排查物化视图与节点状态 #

• 在所有节点执行以下命令，检查物化视图是否处于活跃状态：

  SELECT database, name, is_active, last_exception, last_update_time FROM system.materialized_views;
  

• 查看cdh06节点的ClickHouse日志，搜索Kafka消费相关错误（如连接失败、权限不足、分区分配失败）：

  grep -i "kafka\|materialized" /var/log/clickhouse-server/clickhouse-server.log
  

• 若Shard2节点的物化视图未激活，需排查Kafka集群连通性、Topic权限（如Kafka ACL是否允许该节点消费）。

6. 验证网络与权限 #

• 确认Shard2节点（cdh04/05/06）能正常访问Kafka集群的9092端口，以及ZooKeeper集群（若使用ZK管理副本）的2181端口。
• 检查ClickHouse节点间的网络连通性，确保分布式表能正常路由数据到Shard2的本地表。

内容的提问来源于stack exchange，提问作者姜冠宇