Filebeat v9.2.2对接Kafka v4.0.0 SASL_SSL配置故障排查

核心问题定位 #

当前故障的关键矛盾点：

• Filebeat 开启 SASL/SSL 时无法获取 Broker 元数据，Kafka 侧提示「SASL 握手期间收到意外 METADATA 请求」
• 相同证书/密码的 kafkacat 可正常连接，关闭 SASL/SSL 后 Filebeat 也能正常工作

说明问题出在 Filebeat 的 SASL/SSL 握手流程配置上，未按照 Kafka 要求完成握手就发起了元数据请求，以下是针对性排查步骤：

排查步骤 #

1. 校验 Filebeat SASL/SSL 核心配置的正确性 #

确保 output.kafka 下的安全配置参数层级正确、值与 Kafka 匹配：

output.kafka:
  hosts: ["kafka:9093"]  # 对应 Kafka 的 SASL_SSL 监听端口
  security.protocol: "SASL_SSL"  # 必须明确指定，不能写成 SSL 或 SASL_PLAINTEXT
  sasl.mechanism: "SCRAM-SHA-256"  # 需与 Kafka 启用的 SASL 机制一致（Bitnami 默认多为 SCRAM-SHA-256）
  sasl.username: "your-kafka-user"
  sasl.password: "your-kafka-password"
  ssl.certificate_authorities: ["/path/to/ca.crt"]  # 对应 Kafka 的 CA 证书路径
  # 若 Kafka 启用双向认证，需追加以下配置：
  # ssl.certificate: "/path/to/client.crt"
  # ssl.key: "/path/to/client.key"
  # ssl.key.password: "your-client-key-pass"

• 注意：所有 SASL/SSL 参数需与 security.protocol 同级，不能嵌套在 ssl 节点下
• 避免拼写错误：比如 sasl.mechanism 写成 SCRAM_SHA_256（下划线而非横杠）

2. 检查证书文件的权限与路径 #

即使 kafkacat 能正常读取证书，Filebeat 运行的用户可能无访问权限：

• 在 Filebeat 容器内执行 ls -l /path/to/certs，确认证书文件的所有者/组是否包含 Filebeat 运行用户（默认 filebeat）
• 临时切换为 root 用户运行 Filebeat，验证是否为权限问题

3. 验证 Kafka 侧的 SASL 监听配置 #

检查 Bitnami Kafka 的环境变量配置，确保 SASL/SSL 监听正常启用：

• KAFKA_LISTENERS 需包含 SASL_SSL://:9093
• KAFKA_ADVERTISED_LISTENERS 需对应 Filebeat 连接的地址（如 SASL_SSL://kafka:9093）
• KAFKA_SASL_ENABLED_MECHANISMS 需包含 Filebeat 使用的机制（如 SCRAM-SHA-256）
• KAFKA_SASL_MECHANISM_INTER_BROKER_PROTOCOL 需与启用的机制一致

4. 调整 Filebeat 元数据请求相关参数 #

尝试调整元数据请求的超时时间与客户端标识，避免握手未完成就触发请求：

output.kafka:
  # 其他配置...
  metadata.request.timeout.ms: 5000  # 调大超时时间，默认可能为 1000ms
  client.id: "filebeat-log-producer"  # 添加客户端标识，避免无标识请求被 Kafka 拦截

5. 对比 kafkacat 配置与 Filebeat 的差异 #

将 kafkacat 的命令参数完全映射到 Filebeat 配置：

• 若 kafkacat 使用双向认证（-X ssl.certificate=xxx -X ssl.key=xxx），Filebeat 必须追加对应配置
• 若 kafkacat 指定了 ssl.endpoint.identification.algorithm，Filebeat 也需添加：ssl.endpoint_identification_algorithm: "HTTPS"

6. 启用 Filebeat 调试日志定位细节 #

开启 debug 日志查看完整握手流程：

logging.level: debug
logging.selectors: ["kafka", "ssl", "sasl"]

重启 Filebeat 后，重点查看日志中是否有：

• SASL 握手失败的具体错误（如密码不匹配、机制不支持）
• SSL 证书验证失败的提示

内容的提问来源于stack exchange，提问作者Daniil