Fluentd运行正常但Elasticsearch未创建索引问题求助

我来帮你一步步排查这个问题，从日志采集到Elasticsearch传输的各个环节拆解原因：

你的Fluentd用tail插件采集宿主机的/var/log/java-app/java.log，首先得确保它能访问到这个文件：

• 检查Fluentd DaemonSet的挂载配置：用kubectl describe pod <你的Fluentd Pod名> -n <命名空间>查看Volumes和VolumeMounts部分，确认宿主机的/var/log/java-app目录已经正确挂载到Fluentd Pod里的对应路径。
• 进入Fluentd Pod内部验证：执行kubectl exec -it <你的Fluentd Pod名> -n <命名空间> -- cat /var/log/java-app/java.log，看看文件是否存在、有没有日志内容。如果文件空或者不存在，那问题出在Java应用的日志挂载，得先确保Pod把日志写到了宿主机的这个路径。

Fluentd的日志会直接告诉你哪里出问题，实时查看日志：

kubectl logs <你的Fluentd Pod名> -n <命名空间> -f

重点盯这几类错误：

• 权限问题：如果出现permission denied，说明Fluentd进程没权限读日志文件。可以给Fluentd Pod加securityContext: { runAsUser: 0 }以root身份运行，毕竟宿主机日志目录一般是root权限。
• JSON解析失败：你的配置里用了@type json解析日志，如果Java应用输出的不是标准JSON格式，Fluentd会报错invalid json，直接丢弃日志。这种情况要么改Java应用输出标准JSON，要么临时把parse改成@type none先跳过解析，验证是不是这个问题。
• ES连接错误：比如connection refused、认证失败的信息，说明Fluentd连不上ES。得检查环境变量FLUENT_ELASTICSEARCH_HOST、FLUENT_ELASTICSEARCH_PORT这些配置是否正确，ES集群能不能被Fluentd Pod访问到。

看你的javaapp.conf，有几个地方容易出问题：

• elasticsearch_dynamic插件兼容性：你的Fluentd镜像版本是v1.1-debian-elasticsearch，这个镜像默认可能只带标准的elasticsearch插件，不带elasticsearch_dynamic。可以进Pod执行kubectl exec -it <你的Fluentd Pod名> -n <命名空间> -- fluent-gem list看看有没有fluent-plugin-elasticsearch-dynamic。如果没有，要么安装这个插件，要么直接把<match>里的@type elasticsearch_dynamic改成@type elasticsearch试试，标准插件兼容性更好。
• 索引命名格式：你开了logstash_format true，ES的索引名会是java-app-logs-YYYY.MM.DD这种日期格式的，不是直接叫java-app-logs，去Kibana里找的时候要搜这个带日期的索引名。
• pos_file路径权限：pos_file /var/log/java-apps.log.pos要确保Fluentd能写这个文件，否则没法记录日志读取位置，可能导致没法采集日志。可以把pos_file路径改成Fluentd有权限的目录，比如/var/lib/fluentd/java-apps.log.pos。

在Fluentd Pod里直接测试和ES的连接：

kubectl exec -it <你的Fluentd Pod名> -n <命名空间> -- curl -u <ES用户名>:<ES密码> <ES协议>://<ES地址>:<ES端口>

比如如果ES是http协议，用户是elastic，密码是xxxx，地址是elasticsearch-service，端口9200，命令就是：

curl -u elastic:xxxx http://elasticsearch-service:9200

如果返回ES的集群信息，说明网络和认证都没问题；如果连不上，就得检查ES服务是否正常、网络策略是否允许Fluentd访问ES。

你的配置用了file buffer，路径是/var/log/fluentd-buffers/java-app.system.buffer，进Pod看看这个目录里有没有buffer文件：

kubectl exec -it <你的Fluentd Pod名> -n <命名空间> -- ls -l /var/log/fluentd-buffers/java-app.system.buffer

如果有一堆buffer文件，说明Fluentd采集到日志了但发不出去，回到ES连接或配置问题排查；如果没有buffer文件，说明Fluentd根本没采集到日志，回到第一步查日志读取的问题。

快速试错建议 #

1. 先把elasticsearch_dynamic改成标准的elasticsearch插件，很多时候动态插件的兼容性问题会导致发不出日志；
2. 临时把parse配置改成@type none，看ES会不会生成索引，验证是不是日志格式解析的问题；
3. 给Fluentd Pod加上securityContext: { runAsUser: 0 }，避免权限卡壳。

内容的提问来源于stack exchange，提问作者Anup