Oracle Cloud Streaming对接Elastic Agent(Fleet)Kafka采集遇错求助

核心差异：Elastic Agent vs Logstash Kafka配置 #

Elastic Agent基于Filebeat的Kafka输入模块，配置逻辑和Logstash完全不同，不能直接复制Logstash的配置。以下是针对性的解决步骤：

1. 修正SASL认证配置（最常见原因） #

Elastic Agent不支持jaas_path参数，需要直接在YAML配置中指定SASL认证信息：

inputs:
  - type: kafka
    enabled: true
    hosts: ["cell-1.streaming.me-jeddah-1.oci.oraclecloud.com:9092"]
    topics: ["oracle-logs"]
    security_protocol: "SASL_SSL"
    sasl.mechanism: "PLAIN"
    # 注意参数名是sasl.username/sasl.password，而非JAAS文件格式
    sasl.username: "{TENANT}/elastic-test-user/{OCID_STREAM_POOL}"
    sasl.password: "{AUTH_TOKEN}"
    auto_offset_reset: "earliest"
    consumer_threads: 1
    # 可选：手动指定消费者组ID，避免冲突
    consumer_group_id: "elastic-agent-oracle-stream-consumer"

2. 排查网络与权限问题 #

• 确认Elastic Agent所在机器能访问Oracle Streaming的9092端口：

  nc -zv cell-1.streaming.me-jeddah-1.oci.oraclecloud.com 9092
  

• 检查elastic-test-user的权限是否依然有效：确保该用户拥有Oracle Streaming流的STREAM_CONSUME权限，且认证令牌（AUTH_TOKEN）未过期。

3. 处理SSL证书验证问题 #

如果Oracle的SSL证书未被Agent信任，会导致连接失败：

• 若使用Oracle官方CA证书，可指定CA路径：

  ssl.certificate_authorities: ["/etc/elastic-agent/oracle-cloud-ca.crt"]
  

• 测试阶段可临时关闭证书验证（生产环境禁用）：

  ssl.verification_mode: "none"
  

4. 获取详细日志定位根因 #

查看Elastic Agent的完整日志，找到初始化失败的具体错误：

• Linux系统：

  journalctl -u elastic-agent.service -f
  

• 日志中通常会包含更具体的异常信息（如认证失败、证书错误、协议不兼容等），据此进一步排查。

5. 检查版本兼容性 #

确保Elastic Agent版本支持Oracle Cloud Streaming兼容的Kafka协议版本（Oracle Streaming一般兼容Kafka 2.8及以上），建议使用Elastic Stack 8.x系列的Agent版本。

内容的提问来源于stack exchange，提问作者Zaid Afaneh