Docker及Kubernetes环境Confluent Kafka连接Azure Event Hub异常

问题概述 #

• 业务代码基于C#编写，依赖Confluent Kafka官方客户端库
• 本地运行环境可正常连接Azure Event Hub，打包部署到Docker、Kubernetes容器环境后持续抛出连接异常

初始错误日志 #

3|1656401522.469|ERROR|rdkafka#consumer-1| [thrd:app]: rdkafka#consumer-1: sasl_ssl://xyz.servicebus.windows.net:9093/bootstrap: Disconnected (after 148ms in state UP)
%6|1656401522.626|FAIL|rdkafka#consumer-1| [thrd:sasl_ssl://xyz.servicebus.windows.net:9093/bootstrap]: sasl_ssl://xyz.servicebus.windows.net:9093/bootstrap: Disconnected (after 124ms in state UP, 1 identical error(s) suppressed)

%3|1656399913.942|ERROR|rdkafka#consumer-1| [thrd:sasl_ssl://xyz.servicebus.windows.net:9093/bootstrap]: 1/1 brokers are down
%3|1656399922.791|ERROR|rdkafka#consumer-1| [thrd:sasl_ssl://xyz.servicebus.windows.net:9093/bootstrap]: 1/1 brokers are down
fail: Microsoft.Extensions.Hosting.Internal.Host[9]
      BackgroundService failed
      Confluent.Kafka.ConsumeException: Broker: Topic authorization failed

调整过程中新增错误日志 #

Disconnected while requesting ApiVersion: might be caused by incorrect security.protocol configuration (connecting to a SSL listener?) or broker version is < 0.10 (see api.version.request) (after 0ms in state APIVERSION_QUERY, 4 identical error(s) suppressed)

当前客户端连接配置 #

EnableAutoOffsetStore = false,
BootstrapServers = _configuration["KAFKA_SERVER"],
GroupId = consumerGroup,
AutoOffsetReset = AutoOffsetReset.Earliest,
SecurityProtocol = SecurityProtocol.SaslSsl,
SaslMechanism = SaslMechanism.Plain,
SaslUsername = "$ConnectionString",
SaslPassword = _configuration["EVENTHUB_CONNSTR"],
SslCaLocation = _configuration["EVENTHUB_CA_CERT_LOCATION"]

排查与解决思路 #

针对初始报错（连接断开、Broker不可用、Topic授权失败）排查项 #

• 排查容器网络连通性：进入容器内部执行telnet/nc命令测试Event Hub 9093端口连通性，确认K8s集群网络策略、出口防火墙没有拦截对*.servicebus.windows.net 9093端口的访问，多数集群默认会限制非标准端口出站流量。如果集群部署了Istio、Linkerd等服务网格sidecar，需要将9093端口加入sidecar流量拦截排除列表，避免TLS劫持导致握手失败。
• 校验配置注入正确性：确认容器环境下的环境变量、配置文件挂载内容无误，重点核查KAFKA_SERVER、EVENTHUB_CONNSTR两个配置项没有多余空格、换行、转义错误。本地正常容器异常的最常见诱因就是配置注入时带入不可见字符，比如连接字符串末尾多换行、引号被错误转义。
• 核对Event Hub权限配置：确认使用的连接字符串对应的共享访问策略包含监听（消费场景）/发送权限。如果使用命名空间级连接字符串，要确认策略没有限制可访问的实体；如果使用Event Hub实例级连接字符串，要确认消费的Topic名称和Event Hub实例名完全一致——Azure Event Hub的Kafka协议层做了映射，1个Event Hub实例对应1个Kafka Topic，名称不匹配会直接返回Topic authorization failed错误。
• 排查CA证书配置问题：当前配置了SslCaLocation参数，首先确认容器镜像内该路径下确实存在对应CA证书文件。大量精简基础镜像（比如alpine、distroless镜像）默认未携带Azure所需的根CA证书，或者自定义证书挂载路径和配置值不匹配，会直接导致SSL握手阶段异常。如果不需要使用自定义私有CA，直接删除SslCaLocation配置项，使用系统默认根证书库即可。注意alpine基础镜像需要单独安装CA证书包，在镜像构建步骤执行：

  RUN apk add --no-cache ca-certificates && update-ca-certificates
  

针对ApiVersion查询阶段断开错误排查项 #

• 该错误本质是SSL握手阶段被对端/中间网络设备断开，首先确认容器环境下SecurityProtocol配置没有被覆盖，确保值始终为SaslSsl，没有被误修改为Plaintext等其他协议。
• 如果容器通过代理访问公网，要确认代理支持TCP透传9093端口的TLS流量。普通HTTP代理无法处理Kafka的原生TCP流量，会直接在握手阶段断开连接，这类场景需要显式配置Confluent客户端的sasl_ssl.proxy参数指定socks5代理地址，不要依赖系统HTTP_PROXY环境变量。
• 不要手动设置api.version.request=false，Azure Event Hub完全支持标准Kafka ApiVersion协商流程，手动关闭该配置会导致客户端使用过低版本协议与Event Hub交互，反而触发兼容性错误。
• 如果使用3.x及以上版本的Confluent.Kafka库，部分精简镜像缺少ICU依赖会导致SSL证书校验逻辑异常，针对alpine镜像可以额外安装icu-libs包，或确认DOTNET_SYSTEM_GLOBALIZATION_INVARIANT环境变量配置符合业务预期，全球化不变模式在部分场景下会干扰证书校验逻辑。

快速验证手段 #

优先在容器内部使用kcat（原kafkacat）工具，用完全一致的参数测试连接，参考命令：

kcat -b <eventhub-namespace>.servicebus.windows.net:9093 \
-X security.protocol=SASL_SSL \
-X sasl.mechanisms=PLAIN \
-X sasl.username='$ConnectionString' \
-X sasl.password='<eventhub-connection-string>' \
-L

如果kcat也无法连接，问题100%出在网络、证书、配置层面，和业务代码无关；如果kcat可以正常列出Topic列表，再回头排查.NET程序的依赖加载、配置读取逻辑。

内容的提问来源于stack exchange，提问作者user2010220