Fluency forward插件使用问题：如何为日志添加Kubernetes元数据

方案1：Kubernetes Downward API + Logback环境变量注入（最适配需求，无需修改Fluent Bit逻辑） #

完全兼容你通过fluency发送日志的要求，不需要改用宿主机日志抓取方案，操作步骤如下：

• 第一步：在Java应用的Kubernetes Deployment/StatefulSet中通过Downward API将需要的动态元数据注入为容器环境变量，配置示例：

spec:
  template:
    spec:
      containers:
      - name: 你的Java应用容器名
        image: 你的应用镜像
        env:
          # 注入Pod名称
          - name: POD_NAME
            valueFrom:
              fieldRef:
                fieldPath: metadata.name
          # 注入Pod所在命名空间
          - name: POD_NAMESPACE
            valueFrom:
              fieldRef:
                fieldPath: metadata.namespace
          # 注入节点名称
          - name: NODE_NAME
            valueFrom:
              fieldRef:
                fieldPath: spec.nodeName
          # 注入Pod IP
          - name: POD_IP
            valueFrom:
              fieldRef:
                fieldPath: status.podIP
          # 还可按需注入Pod标签、注解等其他元数据
          - name: APP_LABEL
            valueFrom:
              fieldRef:
                fieldPath: metadata.labels['app']

• 第二步：修改logback.xml中的fluency appender配置，通过${环境变量名}直接读取注入的元数据，通过additionalField添加到日志字段中，配置示例：

<appender name="FLUENCY" class="ch.qos.logback.more.appenders.DataFluentAppender">
  <!-- 保留你原有fluency配置，比如remoteHost、port、tag等 -->
  <remoteHost>fluent-bit</remoteHost>
  <port>24224</port>
  <tag>java.app.log</tag>
  <!-- 动态添加Kubernetes元数据字段 -->
  <additionalField>
    <key>kubernetes.pod.name</key>
    <value>${POD_NAME}</value>
  </additionalField>
  <additionalField>
    <key>kubernetes.namespace</key>
    <value>${POD_NAMESPACE}</value>
  </additionalField>
  <additionalField>
    <key>kubernetes.node.name</key>
    <value>${NODE_NAME}</value>
  </additionalField>
  <additionalField>
    <key>kubernetes.pod.ip</key>
    <value>${POD_IP}</value>
  </additionalField>
  <!-- 其他原有配置 -->
</appender>

logback原生支持配置文件中读取容器环境变量，该方案无需修改Fluent Bit侧逻辑即可实现需求。

方案2：Fluent Bit侧补全元数据（适合需要补全Pod标签、所有者引用等更多元数据的场景） #

如果除了基础元数据外还需要自动补全Pod的标签、注解、工作负载名称等信息，无需在Downward API中逐一配置，可以配合以下逻辑实现：

• 先按方案1的步骤将POD_NAME和POD_NAMESPACE两个字段通过logback附加到日志中
• 修改Fluent Bit的kubernetes filter配置，开启从日志记录中查询元数据的能力，示例配置：

[FILTER]
    Name                kubernetes
    Match               *
    Kube_URL            https://kubernetes.default.svc:443
    Kube_CA_File        /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
    Kube_Token_File     /var/run/secrets/kubernetes.io/serviceaccount/token
    # 开启从日志记录字段中读取Pod名和命名空间做元数据查询
    Lookup_From_Record  On
    K8S-Logging.Parser  Off
    K8S-Logging.Exclude Off
    # 指定日志记录中存储Pod名、命名空间的字段名，和你logback中配置的key保持一致即可
    Kube_Pod_Name_Key   kubernetes.pod.name
    Kube_Namespace_Key  kubernetes.namespace

配置生效后，Fluent Bit会自动根据日志中的Pod名和命名空间查询Kubernetes API，补全剩余的Pod元数据字段。

注意事项 #

• 若logback启动时提示找不到环境变量，可添加默认值避免启动失败，写法为${POD_NAME:-unknown}
• 使用方案2时需要给Fluent Bit对应的ServiceAccount绑定足够的RBAC权限，允许查询Pod、Namespace等资源

内容的提问来源于stack exchange，提问作者Randers