ClickHouse Kafka引擎单队列表配置双Kafka Broker无法同时工作

可能的原因及排查方案： #

• 检查Kafka Topic分区分布
  首先确认netflow Topic的分区是否分布在两个Broker上，若所有分区都集中在单个Broker，ClickHouse自然只会从该节点拉取数据。使用Kafka命令行工具查看分区详情：

  kafka-topics.sh --describe --topic netflow --bootstrap-server 100.127.201.11:9092
  

  输出中查看每个分区的Leader和Replicas字段，确认分区是否分散在两个Broker节点。

• 验证网络连通性
  确保ClickHouse服务器能同时访问两个Kafka Broker的9092端口，无防火墙、安全组或网络策略限制。在ClickHouse节点上执行以下命令测试连通性：

  telnet 100.127.201.11 9092
  telnet 100.127.203.13 9092
  

  若其中一个无法连通，需先解决网络问题。

• 重置消费者组或更换组名
  若之前使用单个Broker时已通过catflow_ng消费组消费过数据，添加第二个Broker后，消费位移可能已固定，导致仅消费原有分区。可以：

  1. 更换新的消费组名称，比如将kafka_group_name改为catflow_ng_new，重建表后测试；
  2. 或使用Kafka工具重置原有消费组的位移：

     kafka-consumer-groups.sh --reset-offsets --to-earliest --topic netflow --group catflow_ng --bootstrap-server 100.127.201.11:9092 --execute
     

• 查看ClickHouse日志排查错误
  检查ClickHouse服务器日志（默认路径/var/log/clickhouse-server/clickhouse-server.log），搜索Kafka相关的错误信息，比如元数据获取失败、连接超时等，这些信息能定位具体问题。

补充配置建议 #

若以上排查都正常，可尝试在表配置中添加以下参数优化消费逻辑：

create table vflow.queue_ng
(
    message String
)
    engine = Kafka SETTINGS
        kafka_broker_list = '100.127.201.11:9092,100.127.203.13:9092',
        kafka_topic_list = 'netflow',
        kafka_group_name = 'catflow_ng_new',
        kafka_format = 'JSONAsString',
        kafka_skip_broken_messages = 1, -- 跳过坏消息避免阻塞
        kafka_client_id = 'clickhouse_netflow_consumer'; -- 自定义客户端ID便于排查

内容的提问来源于stack exchange，提问作者Ilya Varivchenko