Logstash中如何用Grok解析固定格式日志提取动态键值对并转JSON？

纯Grok命名捕获组无法直接匹配不定数量的键值对并自动生成对应键名，因为Grok的正则捕获逻辑需要预先定义固定数量的捕获组，无法动态适配可变数量的键值对。你可以用Grok+KV键值对过滤器的组合实现需求，这是这类场景的标准实现方案。

具体操作步骤 #

• 第一步：用Grok匹配日志前半段固定结构，把末尾所有键值对统一捕获为一个临时字段，示例Grok规则如下：
  %{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} %{GREEDYDATA:greedydata} %{GREEDYDATA:kv_content}
  如果你的greedydata字段本身不包含=符号，也可以调整前半段的匹配规则，保证kv_content内只有纯键值对内容即可。
• 第二步：用KV过滤器处理kv_content字段，自动拆分所有键值对为独立字段，Logstash配置示例如下：

filter {
  kv {
    source => "kv_content"
    field_split => ","
    value_split => "="
    trim_key => " "
    trim_value => " "
    remove_field => "kv_content" # 解析完成后删除临时字段
  }
}

上述配置会自动识别kv_content中用逗号分隔、等号赋值的所有键值对，自动将键名作为输出JSON的顶级键，值作为对应字段的取值，无需手动定义每个字段的匹配规则，可适配任意数量的键值对。

特殊场景适配 #

如果你的键值对中存在带空格的取值（例如field1=test value, field2=demo），可以给KV过滤器新增field_split_pattern => ",\s+"参数适配，无需修改前置的Grok规则。
如果你使用的是Fluentd等其他支持Grok的日志处理工具，也有对应的KV解析插件，实现逻辑完全一致。

内容的提问来源于stack exchange，提问作者MARCO LAGALLA