无法通过SASL_SSL将Filebeat连接至Kafka问题求助

问题背景 #

Filebeat输出配置如下：

output.kafka:
  # initial brokers for reading cluster metadata
  hosts: ["kafka:19095"]

  # message topic selection + partitioning
  topic: "test-topic"
  sasl.mechanism: SCRAM-SHA-256
  ssl.enabled: true
  ssl.certificate_authorities: C:\config\kafka.pem
  username: test-user
  password: test-password  

Kafka运行在Docker环境，SASL_SSL端口19095已映射到宿主机，其他工具可正常连接，但Filebeat连接失败：

• Kafka日志报错：

[2023-09-15 17:17:16,434] INFO [SocketServer listenerType=ZK_BROKER, nodeId=1] Failed authentication with /172.28.0.1 (channelId=172.28.0.5:19095-172.28.0.1:56608-128) (SSL handshake failed) (org.apache.kafka.common.network.Selector)

• Filebeat日志报错：

{"log.level":"error","@timestamp":"2023-09-15T20:21:16.339+0300","log.logger":"kafka","log.origin":{"file.name":"kafka/client.go","file.line":337},"message":"Kafka (topic=test-topiconnecc): kafka: client has run out of available brokers to talk to (Is your cluster reachable?)","service.name":"filebeat","ecs.version":"1.6.0"}

已确认自签名证书主题为kafka，与主机名匹配，排除该问题。

排查思路 #

• 检查证书路径与权限

  • Windows环境下，Filebeat对路径反斜杠处理可能有问题，尝试将路径改为正斜杠格式：ssl.certificate_authorities: C:/config/kafka.pem
  • 确认运行Filebeat的进程（若以服务运行则是服务账户）拥有该证书文件的读取权限，避免因权限不足导致无法加载证书

• 验证证书完整性与合规性

  • 使用openssl x509 -in C:\config\kafka.pem -text -noout命令检查证书：确认证书未过期、主题（Subject）或SAN扩展中包含kafka主机名（Go客户端对SAN扩展的校验更严格，部分工具可能忽略）
  • 确保kafka.pem是Kafka broker的CA根证书，而非服务器证书或客户端证书，ssl.certificate_authorities字段仅接受CA证书

• 排查主机名解析问题

  • 确认运行Filebeat的机器能正确解析kafka主机名到Docker宿主机IP：可尝试直接替换为宿主机IP测试，比如hosts: ["192.168.x.x:19095"]（Docker内部的kafka主机名宿主机可能无法解析）
  • 对比能正常连接的工具使用的是主机名还是IP，保持配置一致

• 调整SSL参数测试

  • 临时添加ssl.verification_mode: none（仅用于排查，生产环境禁用），若能连接成功，说明是证书验证环节的问题
  • 尝试添加ssl.endpoint_identification_algorithm: ""禁用SNI验证，部分场景下自签名证书可能因SNI不匹配导致握手失败

• 确认SASL配置兼容性

  • 检查Kafka broker的SASL配置是否为SCRAM-SHA-256，且test-user已正确创建并配置SCRAM凭证（可通过Kafka命令行工具验证用户权限）
  • 调整配置顺序，将SASL相关参数（sasl.mechanism、username、password）移至SSL参数之前，部分客户端对配置顺序敏感

• 抓包分析握手过程

  • 在宿主机使用Wireshark抓取19095端口的流量，对比Filebeat与正常工具的SSL握手流程，定位失败阶段（如证书交换、验证或SASL协商环节）
  • 重点查看握手过程中的错误代码，明确是证书不被信任、主机名不匹配还是其他SSL协议层面的问题

内容的提问来源于stack exchange，提问作者oceansize