如何用Fluentbit record_modifier删除含斜杠的键？

问题场景 #

使用Fluentbit v2.0.5解析Kubernetes日志时，通过record_modifier过滤器移除不需要的K8s元数据键：

• 无斜杠的键（如k8s_pod_id）能正常被删除
• 名称含斜杠的键（如k8s_annotations_checksum/config）始终保留在Elasticsearch日志中，尝试过反斜杠转义、引号包裹均无效

问题原因 #

Fluentbit的record_modifier默认将斜杠/视为嵌套字段的路径分隔符，直接写入带斜杠的键名时，会被解析为嵌套字段路径（比如k8s_annotations_checksum/config会被识别为k8s_annotations_checksum下的config子字段），但实际你的键是一个包含斜杠的扁平字符串键，导致删除操作不生效。

解决方案 #

方案1：用单引号包裹带斜杠的键名 #

修改record_modifier配置，将所有含斜杠的键名用单引号包裹，明确告知Fluentbit这是一个完整的键名而非路径：

[FILTER]
    Name record_modifier
    Match kube.*
    Remove_key k8s_pod_id
    Remove_key k8s_docker_id
    Remove_key k8s_labels_pod-template-hash
    Remove_key k8s_container_hash
    Remove_key 'k8s_annotations_checksum/config'
    Remove_key 'k8s_annotations_kubernetes_io/config_source'
    Remove_key 'k8s_annotations_kubernetes_io/psp'
    Remove_key 'k8s_labels_app_kubernetes_io/instance'

注意：确保此过滤器在nest的lift操作之后执行，否则扁平键还未生成，删除操作会无效。

方案2：改用Lua过滤器处理 #

如果单引号方案仍不生效，可以使用Lua过滤器直接操作日志记录，Lua能直接识别含特殊字符的键名：

1. 添加Lua过滤器配置：

[FILTER]
    Name lua
    Match kube.*
    script remove_unwanted_keys.lua
    call remove_unwanted_keys

2. 创建remove_unwanted_keys.lua脚本：

function remove_unwanted_keys(tag, timestamp, record)
    -- 定义需要删除的键列表
    local keys_to_remove = {
        "k8s_pod_id",
        "k8s_docker_id",
        "k8s_labels_pod-template-hash",
        "k8s_container_hash",
        "k8s_annotations_checksum/config",
        "k8s_annotations_kubernetes_io/config_source",
        "k8s_annotations_kubernetes_io/psp",
        "k8s_labels_app_kubernetes_io/instance"
    }

    -- 遍历删除指定键
    for _, key in ipairs(keys_to_remove) do
        record[key] = nil
    end

    return 2, timestamp, record
end

内容的提问来源于stack exchange，提问作者pluk