Fluentd无法向Elasticsearch发送日志及日志匹配失败问题求助

你好！我来帮你梳理下当前遇到的两个核心问题，并给出对应的排查和解决建议：

一、日志匹配失败警告（pattern not matched） #

从你贴出的日志内容来看，这些是Kubernetes节点上Calico组件的标准文本日志，但你的Fluentd配置里用了json格式解析，导致无法匹配，所以抛出警告。

问题根源 #

你的tail_container_parse.conf中默认使用json类型解析容器日志：

<parse>
@type "#{ENV['FLUENT_CONTAINER_TAIL_PARSER_TYPE'] || 'json'}"
time_format "#{ENV['FLUENT_CONTAINER_TAIL_PARSER_TIME_FORMAT'] || '%Y-%m-%dT%H:%M:%S.%NZ'}"
</parse>

但Kubernetes容器日志的默认格式是Docker风格的结构化文本（包含时间、流类型、日志内容），不是JSON格式，所以解析失败。

解决建议 #

修改解析器类型为docker，这个类型专门适配Kubernetes容器日志的格式：

tail_container_parse.conf: |-
<parse>
@type "#{ENV['FLUENT_CONTAINER_TAIL_PARSER_TYPE'] || 'docker'}"
time_format "#{ENV['FLUENT_CONTAINER_TAIL_PARSER_TIME_FORMAT'] || '%Y-%m-%dT%H:%M:%S.%N%:z'}"
</parse>

如果后续遇到多行日志（比如Java堆栈），还可以配合multiline插件处理，但当前警告里的日志都是单行，先用docker类型即可解决匹配问题。

二、无法连接Elasticsearch的问题 #

这个问题需要从配置和网络连通性两方面排查：

1. 检查环境变量是否正确传递 #

你的Elasticsearch配置依赖环境变量FLUENT_ELASTICSEARCH_HOST和FLUENT_ELASTICSEARCH_PORT，但你没有提到是否在Fluentd的DaemonSet中设置了这些变量。

必须在DaemonSet的容器定义中添加以下环境变量：

env:
- name: FLUENT_ELASTICSEARCH_HOST
  value: "10.0.2.11"
- name: FLUENT_ELASTICSEARCH_PORT
  value: "9200" # 默认ES HTTP端口，如果你的ES用了其他端口请修改
- name: FLUENT_ELASTICSEARCH_SCHEME
  value: "http" # 如果是HTTPS请改为https

如果没有设置这些变量，Fluentd会尝试用空值连接ES，自然失败。

2. 检查网络连通性 #

• 登录到Fluentd Pod所在的Kubernetes节点，或者直接进入Fluentd Pod内部，执行curl 10.0.2.11:9200，看是否能正常返回ES的状态信息。
• 确认VirtualBox集群的网络配置：Elasticsearch所在的机器（10.0.2.11）是否能被Kubernetes集群的节点访问到？有没有防火墙规则阻止了9200端口的访问？
• 检查ES本身的配置：是否开启了HTTP服务，是否允许外部IP访问（默认ES只绑定localhost，需要修改elasticsearch.yml中的network.host为0.0.0.0或允许的IP）。

3. 检查Fluentd的ES配置细节 #

你的elasticsearch.conf中有一些默认值可能需要调整：

• 如果ES没有开启认证，确保user和password的环境变量留空或者设置为use_default（当前配置已经是这样）。
• 关闭ssl_verify如果你的ES没有配置HTTPS：ssl_verify "#{ENV['FLUENT_ELASTICSEARCH_SSL_VERIFY'] || 'false'}"，避免因为SSL验证失败导致连接中断。

额外提示 #

修改ConfigMap后，需要重启Fluentd的DaemonSet Pod，让新配置生效：

kubectl rollout restart daemonset <你的Fluentd DaemonSet名称> -n fluentd

备注：内容来源于stack exchange，提问作者VBE