Elastic Metricbeat无法通过SASL_SSL向AWS MSK Kafka集群发送数据求助

1. 修正配置中的语法与拼写错误 #

你的配置存在几处基础错误，先修复这些问题：

• hosts数组格式错误：第二个主机地址多了一对冗余双引号，修正为：

  hosts :["b-1.xxxxxxxxx.amazonaws.com:9096","b-2.xxxxxxxxx.amazonaws.com:9096"]
  

• 拼写错误修正：
  • reachable_only: flase → reachable_only: false
  • max_message_butes: 10000000 → max_message_bytes: 10000000

2. 补充SASL_SSL强制配置 #

AWS MSK的9096端口要求SSL加密，你的配置缺少SSL启用声明，需添加：

output.kafka:
  # 保留原有配置...
  ssl.enabled: true
  # 可选：若系统未默认信任AWS根CA，需指定CA证书路径，示例路径为Linux系统通用路径
  ssl.certificate_authorities: ["/etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem"]

3. 调整重试与熔断机制 #

"circuit breaker is open"错误是多次发送失败触发的熔断保护，可通过以下参数调整：

• 测试阶段临时关闭熔断：

  output.kafka:
    circuit_breaker.enabled: false
  

• 生产环境优化重试策略：

  output.kafka:
    retry.backoff.init: 1s
    retry.backoff.max: 30s
    retry.max: 10
  

4. 优化分区路由逻辑 #

将reachable_only设为true，确保Metricbeat仅向可达的MSK Broker发送数据：

partition.round_robin:
  reachable_only: true

5. 验证与排查 #

• 执行metricbeat test output命令直接测试输出配置，获取更精准的错误信息
• 查看Metricbeat日志（默认路径/var/log/metricbeat/metricbeat.log），定位具体的连接或认证失败细节

内容的提问来源于stack exchange，提问作者Kotesh Nataru