Fluent-bit无法解析Kubernetes日志，转储ES报错求解决方案

问题原因分析 #

这个错误的核心是Kubernetes标签中的点号被解析为Elasticsearch的嵌套字段路径，导致类型冲突：

• 当你的Pod存在app=my-app这类简单标签时，Fluent-bit会将其解析为kubernetes.labels.app，Elasticsearch自动将该字段映射为text类型。
• 当另一个Pod存在app.kubernetes.io/component=backend这类带点的标签时，Fluent-bit会将其解析为kubernetes.labels.app.kubernetes.io.component——这要求kubernetes.labels.app是object类型，但它已经被标记为text类型，因此Elasticsearch拒绝写入，抛出mapper_parsing_exception。

解决方案 #

1. 使用Fluent-bit Kubernetes过滤器的官方Dedot参数（推荐） #

Fluent-bit的Kubernetes过滤器内置了Dedot参数，可以自动将标签、注解中的点号（.）替换为下划线（_），彻底避免嵌套字段冲突。

修改你Fluent-bit values.yaml中的filters部分，在Kubernetes过滤器中添加Dedot On：

filters: |
  [FILTER]
      Name kubernetes
      Match kube.*
      Kube_URL https://kubernetes.default.svc:443
      Kube_CA_File /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
      Kube_Token_File /var/run/secrets/kubernetes.io/serviceaccount/token
      Kube_Tag_Prefix kube.var.log.containers.
      Merge_Log On
      Merge_Log_Key log_processed
      K8S-Logging.Parser On
      K8S-Logging.Exclude Off
      Dedot On  # 添加这一行启用自动去点
  # 可以移除之前的lua dedot过滤器，因为Dedot参数已经覆盖了该功能

这个参数会把所有Kubernetes标签/注解中的点替换为下划线，比如：

• app.kubernetes.io/component → app_kubernetes_io_component
• kubernetes.labels.app 保持不变（因为原标签是app，没有点）

所有标签都会成为kubernetes.labels下的平级字段，不会产生嵌套结构，也就不会和已有的text类型字段冲突。

2. 修复自定义Lua Dedot脚本（如果坚持使用） #

如果你之前的Luadedot脚本没有生效，可能是逻辑有问题。确保你的functions.lua脚本正确遍历并替换kubernetes.labels和kubernetes.annotations中的点号：

function dedot(tag, timestamp, record)
  local function dedot_table(t)
    local new_t = {}
    for k, v in pairs(t) do
      local new_k = string.gsub(k, "%.", "_")
      if type(v) == "table" then
        new_t[new_k] = dedot_table(v)
      else
        new_t[new_k] = v
      end
    end
    return new_t
  end

  if record.kubernetes then
    if record.kubernetes.labels then
      record.kubernetes.labels = dedot_table(record.kubernetes.labels)
    end
    if record.kubernetes.annotations then
      record.kubernetes.annotations = dedot_table(record.kubernetes.annotations)
    end
  end

  return 2, timestamp, record
end

同时要确认Fluent-bit通过extraVolumes和extraVolumeMounts正确挂载了functions.lua文件。

3. 处理Elasticsearch现有索引（可选） #

如果之前的索引已经存在kubernetes.labels.app为text类型的映射，新日志会写入kubernetes.labels.app_kubernetes_io_component，不会冲突。若你希望统一字段格式：

• 新建索引模板，明确指定kubernetes.labels为object类型，允许平级字段动态映射。
• 若历史日志不重要，可直接重新创建索引。

验证步骤 #

1. 重新部署Fluent-bit：helm upgrade fluent-bit fluent/fluent-bit -f values.yaml
2. 查看Fluent-bit Pod日志，确认无错误：kubectl logs -n <你的命名空间> fluent-bit-xxxx
3. 发送测试日志，检查Elasticsearch是否成功写入，且kubernetes.labels.app_kubernetes_io_component字段正常存在。

内容的提问来源于stack exchange，提问作者Tireli Efe