如何通过Fluent-Bit将Kubernetes容器日志持久化存储至指定路径？

嗨，看起来你遇到了Fluent-Bit输出日志到指定路径的问题，我来帮你一步步排查和解决～

首先，咱们先分析你当前配置可能存在的问题：

一、排查当前配置的潜在问题 #

• 路径权限与挂载问题：你指定的/logs路径，如果是Fluent-Bit容器内部的路径，首先要确认这个目录是否存在——默认情况下Fluent-Bit镜像可能没有这个目录，而且容器运行的用户是否有写入权限？另外，如果你的目标是让日志在集群重启或节点故障后还能保留，那这个/logs必须挂载到持久化存储（比如HostPath、PersistentVolumeClaim），否则容器重启后日志就会丢失，而且你在Node上直接找/logs是找不到的，因为那是容器内的路径。
• 缺少目录创建配置：Fluent-Bit的file输出插件默认不会自动创建不存在的目录，你需要显式开启Create_Dir参数，否则会因为路径不存在而无法写入日志。
• 查看Fluent-Bit日志排查错误：你可以通过kubectl logs <你的fluent-bit-daemonset-pod-name>查看Fluent-Bit的运行日志，里面会明确告诉你是权限不足、路径不存在还是其他问题，这是最快定位问题的方法。

二、修正后的Fluent-Bit配置方案 #

我给你调整了配置，解决目录创建和输出格式的问题，同时加上持久化挂载的说明：

1. 调整后的fluent-bit.conf #

[SERVICE]
Flush         1
Log_Level     info
Daemon        off
Parsers_File  parsers.conf
HTTP_Server   On
HTTP_Listen   0.0.0.0
HTTP_Port     2020

[INPUT]
Name              tail
Tag               kube.*
Path              /var/log/containers/*.log
Parser            docker
DB                /var/log/flb_kube.db
Mem_Buf_Limit     5MB
Skip_Long_Lines   On
Refresh_Interval  10

[OUTPUT]
Name            file
Match           *
Path            /logs
Create_Dir      On  # 新增：自动创建不存在的目录
File_Name       container_logs_%Y%m%d.log  # 按日期命名日志文件，方便管理
Format          raw  # 保持日志原样输出，不做JSON格式化

2. 配置持久化挂载（关键！） #

要让日志在节点故障或集群重启后保留，你需要在Fluent-Bit的DaemonSet配置中，把容器内的/logs挂载到Node的本地路径或者PV。比如用HostPath的示例：

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluent-bit
  namespace: logging
spec:
  template:
    spec:
      containers:
      - name: fluent-bit
        image: fluent/fluent-bit:latest
        volumeMounts:
        - name: varlogcontainers
          mountPath: /var/log/containers
        - name: persistent-logs  # 新增挂载
          mountPath: /logs
        - name: fluent-bit-config
          mountPath: /fluent-bit/etc/
      volumes:
      - name: varlogcontainers
        hostPath:
          path: /var/log/containers
      - name: persistent-logs  # 对应挂载的持久化路径
        hostPath:
          path: /var/local/persistent-container-logs  # Node上的本地路径，会自动创建
          type: DirectoryOrCreate
      - name: fluent-bit-config
        configMap:
          name: fluent-bit-config

这样配置后，日志会被写入Node的/var/local/persistent-container-logs路径，只要Node本身的存储没问题，集群重启后日志依然存在。

三、其他可选工具方案 #

如果你觉得Fluent-Bit配置麻烦，也可以试试这些方法：

• 直接挂载同步：跑一个DaemonSet的busybox Pod，挂载/var/log/containers和持久化存储，用rsync定时同步日志到持久化目录，比如每分钟执行一次rsync -av /var/log/containers/ /persistent-logs/。
• Fluentd替代：Fluentd的file输出插件逻辑类似，配置思路和Fluent-Bit一致，适合已经熟悉Fluentd的场景。

备注：内容来源于stack exchange，提问作者Gill Varghese Sajan