ClickHouse连接Kafka端口异常求助：表指定9093却连9092失败

出现这个问题的核心是ClickHouse全局Kafka配置与表级配置的优先级冲突：

• 你在/etc/clickhouse-server/config.xml中配置了Kafka的SASL认证信息，但未指定broker_list，此时ClickHouse会默认使用Kafka的标准端口9092；
• 虽然创建表时指定了kafka_broker_list='10.10.10.22:9093'，但当全局配置中存在<Kafka>块时，ClickHouse会优先读取全局配置的默认端口，而非表级指定的端口，最终导致连接9092失败。

以下两种方案任选其一即可：

方案1：统一全局Kafka配置 #

修改/etc/clickhouse-server/config.xml中的<Kafka>块，添加带正确端口的broker地址，让全局配置与实际Kafka服务匹配：

<Kafka>
    <!-- 保留你已配置的SASL参数 -->
    <sasl_mechanism>PLAIN</sasl_mechanism> <!-- 根据实际SASL机制调整，比如SCRAM-SHA-256 -->
    <sasl_username>你的SASL用户名</sasl_username>
    <sasl_password>你的SASL密码</sasl_password>
    <!-- 添加指定9093端口的broker列表 -->
    <broker_list>10.10.10.22:9093</broker_list>
</Kafka>

修改完成后重启ClickHouse服务，让配置生效：

sudo systemctl restart clickhouse-server

方案2：表级明确指定所有Kafka参数 #

如果不想修改全局配置，可在创建Kafka引擎表时，将SASL认证参数和broker端口一起写入表的SETTINGS中，直接覆盖全局配置的优先级：

CREATE TABLE test_kafka.tasks_queue (
    -- 替换为你的实际字段定义
    id UInt64,
    task_content String,
    create_time DateTime
) ENGINE = Kafka
SETTINGS
    kafka_broker_list = '10.10.10.22:9093',
    kafka_topic_list = 'test2',
    kafka_group_name = 'ch_tasks_consumer', -- 建议指定唯一消费组名
    kafka_format = 'JSONEachRow', -- 根据消息格式调整，比如CSV、Avro等
    kafka_sasl_mechanism = 'PLAIN',
    kafka_sasl_username = '你的SASL用户名',
    kafka_sasl_password = '你的SASL密码';

• 确认Kafka的9093端口对应SASL监听：检查Kafka的server.properties，确认listeners配置包含类似sasl_plaintext://10.10.10.22:9093或sasl_ssl://10.10.10.22:9093的条目；
• 测试端口连通性：在ClickHouse服务器执行nc -zv 10.10.10.22 9093，确认端口可正常访问；
• 检查消费组状态：通过Kafka命令行工具执行kafka-consumer-groups.sh --bootstrap-server 10.10.10.22:9093 --describe --group ch_tasks_consumer，查看消费组是否正常连接并获取偏移量。

内容的提问来源于stack exchange，提问作者Marina Vinograd