Logstash KV解析嵌套双引号失败，如何用mutate gsub或原生方案解决

问题根因 #

• 原配置的mutate gsub执行时机错误：KV插件运行前msg字段还未从message1中解析生成，替换操作完全不生效
• KV插件默认按字段名="字段值"的格式识别边界，值内部嵌套的双引号会被误判为值的结束标记，导致解析中断、字段错乱

可行配置方案 #

直接修改filter部分逻辑，先预处理源字段再做KV解析即可，无需额外复杂操作：

input {
  tcp {
    port => 1301
  }
}
filter {
  if "type=vpn" in [message] {
    dissect {
      mapping => { "message" => "%{reserved} id=firewall %{message1}" }
    }
    # 预处理：KV解析前直接操作源字段message1，替换msg值内部的嵌套双引号为单引号
    mutate {
      gsub => [
        "message1", 'msg="(.*?)"(.*?)"(.*?)"', 'msg="\1\'\2\'\3"'
      ]
    }
    kv { 
      source => "message1"  
      value_split => "=" 
      whitespace => "strict"
      trim_value => '"' # KV原生参数：自动删除解析后字段值两端的包裹双引号
    }
    geoip { 
      source => "src"  
    }
  } else { 
    drop {}  
  }
}

补充说明 #

如果抓取到的日志中内部双引号已经被转义为\"格式，只需要把上面gsub的正则匹配规则调整为匹配转义双引号即可，逻辑保持不变。

内容的提问来源于stack exchange，提问作者nav33n