如何在ClickHouse Kafka表中配置TLS相关参数（ca_cert等）

完整建表示例 #

以下是适配你生产者TLS配置的ClickHouse Kafka消费表创建语句，核心是在SETTINGS段配置TLS相关参数：

CREATE TABLE kafka_tls_consumer (
    -- 替换为你的实际消息结构字段
    event_id UInt64,
    event_content String
) ENGINE = Kafka()
SETTINGS
    kafka_broker_list = 'broker0:9092,broker1:9092,broker2:9092',
    kafka_topic_list = 'some-prefix_your_target_topic', -- 匹配生产者的topic_prefix
    kafka_group_name = 'clickhouse_consumer_group',
    kafka_format = 'JSONEachRow', -- 根据消息格式调整，如CSV、Avro等
    -- TLS 对应配置
    kafka_ssl_enable = 'true',
    kafka_ssl_ca_file = '/opt/clickhouse/certs/ca_cert.pem',
    kafka_ssl_cert_file = '/opt/clickhouse/certs/client_cert.pem',
    kafka_ssl_key_file = '/opt/clickhouse/certs/client_key.pem',
    -- 若客户端私钥有密码，添加以下配置，无密码则省略
    kafka_ssl_key_password = 'your_key_password'

参数对应关系说明 #

• kafka_ssl_enable: 对应生产者的tls_enabled=true，设置为'true'开启TLS加密。
• kafka_ssl_ca_file: 对应生产者的ca_cert，需传入CA证书的本地文件路径，确保ClickHouse进程对该文件有读取权限（建议权限设为644，归属clickhouse用户）。
• kafka_ssl_cert_file: 对应生产者的client_cert，传入客户端证书的本地文件路径，同样需保证权限合规。
• kafka_ssl_key_file: 对应生产者的client_key，传入客户端私钥的本地文件路径，私钥文件建议设置权限为600，避免泄露。

注意事项 #

1. ClickHouse不支持直接传入证书/私钥字符串，需将生产者配置中的证书内容写入本地文件后再配置路径。
2. 确认Kafka集群的TLS端口（示例中用9092，若集群用专属TLS端口如9093需替换）。
3. 可先在ClickHouse服务器上用Kafka官方工具验证连接：
   创建consumer.properties文件：

   security.protocol=SSL
   ssl.ca.location=/opt/clickhouse/certs/ca_cert.pem
   ssl.certificate.location=/opt/clickhouse/certs/client_cert.pem
   ssl.key.location=/opt/clickhouse/certs/client_key.pem
   

   执行消费测试：

   kafka-console-consumer.sh --bootstrap-server broker0:9092 --topic some-prefix_your_target_topic --consumer-config consumer.properties
   

   若能正常消费，说明证书和网络配置无问题，再配置ClickHouse表。

内容的提问来源于stack exchange，提问作者Atheer Abdullatif