K8s环境下Fluentd无法转发容器日志到Elasticsearch如何解决

1. 配置格式错误：host字段错误携带了http://协议前缀，Fluentd Elasticsearch插件的host参数仅需填写服务域名/IP，协议需通过独立的scheme字段指定，格式错误会导致地址解析失败。
2. 版本校验拦截：fluent-plugin-elasticsearch v5.0+版本默认在启动阶段校验对接服务是否为官方原生Elasticsearch，对接开源衍生版本（如OpenSearch、OpenDistro）时会触发该提示，未手动关闭校验时可能阻断日志写入流程。

修改后的fluentd.conf配置如下：

<match kubernetes.var.log.containers.**>
  @type elasticsearch
  # 仅填写ES服务域名，不带协议前缀
  host elasticsearch
  port 9200
  # 单独指定访问协议
  scheme http
  logstash_format true
  # 关闭启动阶段的ES产品合法性校验，消除对应报错
  verify_es_version_at_startup false
  # 指定兼容的ES大版本，跳过客户端与服务端的版本强校验
  compatibility_level 8
  # 以下为可选配置，根据实际ES集群情况开启
  # 若ES开启账号密码认证，补充对应账号密码
  # user elastic
  # password your_es_password
  # 若使用HTTPS协议且证书为自签，测试环境可关闭证书校验
  # ssl_verify false
</match>

• 保存配置后，重启Fluentd Pod或重新加载配置使规则生效
• 查看Fluentd运行日志，确认原版本校验报错不再输出
• 调用Elasticsearch _cat/indices?v 接口，检查是否生成logstash-yyyy.mm.dd格式的索引，且索引文档数持续增长，即代表容器日志已正常写入。

内容的提问来源于stack exchange，提问作者Pranu Pranav