Logstash写入ES时如何基于字段值动态配置白名单？

你之前的写法不生效，核心原因是所有Logstash插件的数组类配置（比如whitelist_names）都是在插件启动加载阶段静态解析的，不会逐事件动态替换成当前日志的字段实际值：

• 你写的[component_name]是Logstash内部的字段路径识别语法，仅在字段定位的场景下可用，不会被当成动态变量处理
• 插件加载时会把"[component_name]"识别为字面上叫“[component_name]”的特殊字段名，根本不会读取每个日志事件里component_name的实际值来做白名单匹配

方案1：动态Ruby过滤实现（适配所有场景，无需枚举值） #

这是最灵活的实现方式，完全匹配你“按当前事件component_name的值做字段白名单”的需求，不需要提前枚举所有可能的组件名，后续新增组件也不用改配置。
核心逻辑：

• 逐事件读取当前日志的component_name字段值
• 定义固定需要保留的公共字段（比如component_name、component_action、系统自带的@timestamp、@version）
• 遍历事件所有字段，仅保留公共字段、以及和当前component_name值同名的动态字段，其余字段全部移除

参考配置：

filter {
  # 校验component_name字段是否存在，缺字段的日志可打标记单独处理
  if ![component_name] {
    tag => "invalid_log_missing_component_name"
  } else {
    ruby {
      code => '
        # 获取当前事件的component_name实际值作为目标保留字段
        dynamic_keep_field = event.get("component_name")
        # 定义所有场景下都需要保留的固定公共字段
        fixed_keep_fields = ["component_name", "component_action", "@timestamp", "@version"]
        # 遍历事件所有顶级字段
        event.to_hash.each_key do |field|
          # 不符合保留规则的字段直接移除
          unless fixed_keep_fields.include?(field) || field == dynamic_keep_field
            event.remove(field)
          end
        end
      '
    }
  }
}

按照你给的示例日志，这个逻辑处理后会仅保留component_name、abc、component_action三个字段，完全符合白名单要求。

方案2：静态Prune过滤实现（适合组件值固定枚举的场景） #

如果你所有的component_name取值是完全固定、可枚举的，不会频繁新增，也可以用prune过滤器做静态白名单配置，不需要写Ruby代码：

filter {
  prune {
    whitelist_names => [
      # 固定公共字段
      "component_name",
      "component_action",
      "@timestamp",
      "@version",
      # 这里把所有可能出现的component_name对应字段名手动写入即可
      "abc",
      "other_fixed_component_1",
      "other_fixed_component_2"
    ]
  }
}

这个方案的缺点是后续新增组件时，必须手动修改配置把新的组件对应字段加到白名单里，否则新字段会被拦截，维护成本较高。

• 不要尝试用%{component_name}的插值语法写在whitelist_names配置里，这类数组类参数没有开启动态插值能力，写了也不会生效
• 上面的示例逻辑默认处理日志的顶级字段，如果你的日志存在嵌套结构，需要在Ruby代码里增加递归遍历逻辑，逐层匹配嵌套字段的白名单规则

内容的提问来源于stack exchange，提问作者Mahith Geallapally