Logstash Filter：如何屏蔽JSON数据中的敏感字段值？

你的原配置存在几个关键问题，导致敏感字段替换失效：

1. json插件不支持内部嵌套条件判断：你在json块里写的if语句不会生效，Logstash的filter插件内部不能直接嵌入条件逻辑，需要把条件判断放在独立的filter块中。
2. 字段路径错误：你操作的secret、secret2是根节点字段，但实际敏感字段在parsedJson子节点下，路径没写全。
3. 缺少序列化步骤：即使修改了parsedJson里的字段，也没把处理后的JSON重新转回字符串写回postData，所以原字段内容不会更新。

正确配置示例 #

假设你已经完成payloads到payload的拆分，完整的过滤流程如下：

# 拆分payloads数组为单个payload（你的这部分配置有效）
if [payloads] {
  split {
    field => "payloads"
    target => "payload"
    remove_field => ["payloads"]
  }
}

# 解析postData中的JSON字符串为结构化数据
json {
  source => "[payload][request][postData]"
  target => "[payload][request][parsedPostData]"
}

# 替换敏感字段（直接替换，无需前置判断，空字段不会报错）
mutate {
  replace => {
    "[payload][request][parsedPostData][secret]" => "[secret]"
    "[payload][request][parsedPostData][secret2]" => "[secret]"
  }
}

# 若需仅在字段存在时替换，可使用条件块包裹mutate
if [payload][request][parsedPostData][secret] {
  mutate {
    replace => { "[payload][request][parsedPostData][secret]" => "[secret]" }
  }
}
if [payload][request][parsedPostData][secret2] {
  mutate {
    replace => { "[payload][request][parsedPostData][secret2]" => "[secret]" }
  }
}

# 将处理后的结构化数据重新序列化为JSON字符串，覆盖原postData
# 高版本Logstash（7.10+）可使用json_encode插件
json_encode {
  source => "[payload][request][parsedPostData]"
  target => "[payload][request][postData]"
}

# 清理临时生成的结构化字段（可选）
mutate {
  remove_field => ["[payload][request][parsedPostData]"]
}

关键说明 #

• 字段路径需精准：所有操作必须明确指向[payload][request]下的字段，因为split后每个payload都是独立对象。
• 序列化不可省略：json插件仅能将字符串解析为结构化数据，要转回字符串需用json_encode（高版本）或ruby代码（低版本）。
• 条件逻辑要外置：条件判断需包裹整个filter块，而非嵌套在插件内部。

内容的提问来源于stack exchange，提问作者Kermit