如何使用Grok filter从文件路径提取片段并添加为新字段

需要完成的字段提取逻辑如下：

• 从日志元数据字段[log][file][path]中，若路径为/lib/logs/scm_output.log，提取scm_output片段，新增同名字段scm_output
• 若路径为/lib/logs/abc_output.log，提取abc_output片段，新增同名字段abc_output
  原有Grok规则匹配失败，无法得到预期结果。

原规则无法生效的核心原因有三个：

1. %{PATH}为贪婪匹配模式，会直接匹配到路径最后一个斜杠前的全部内容，即示例里的/lib/logs/，后面紧跟的%{GREEDYDATA:name}会直接吞掉剩余的整段文件名字符串，后续正则片段完全没有可匹配的空间
2. 正则片段\.*+是占有优先量词，用来匹配任意数量的点字符，既不符合当前文件名下划线分隔的命名结构，还会阻断后续正则的匹配逻辑；同时.log前的.未做转义，正则里未转义的.代表匹配任意字符，会直接导致匹配范围失控
3. 规则没有做分支匹配设计，所有匹配结果只会统一写入name字段，无法按不同文件名分别写入scm_output、abc_output两个独立字段。

推荐用「通用文件名提取+条件判断」的方案，鲁棒性更强，后续新增同类型日志文件也方便扩展：

1. 第一步：从路径中提取不带.log后缀的纯文件名

grok {
    match => {
        "[log][file][path]" => "(?<file_base_name>[^/]+)\.log$"
    }
}

这段正则会直接定位路径末尾的.log后缀，向前捕获所有不包含路径斜杠/的字符，也就是纯文件名，不会受上层目录层级变化的影响。
2. 第二步：根据提取到的文件名，新增对应目标字段

if [file_base_name] == "scm_output" {
    mutate {
        add_field => { "scm_output" => "%{file_base_name}" }
    }
} else if [file_base_name] == "abc_output" {
    mutate {
        add_field => { "abc_output" => "%{file_base_name}" }
    }
}

如果不需要保留中间的file_base_name字段，可以在判断逻辑最后加一段删除字段的配置：

mutate {
    remove_field => ["file_base_name"]
}

• Grok匹配多模式时会按数组顺序遍历，命中第一个匹配的模式就会终止，精准度高的模式要放在数组靠前位置
• 非必要不使用%{GREEDYDATA}模式，它本质是.*贪婪匹配，很容易出现匹配内容过长的问题，明确字符范围的场景尽量用精准正则，比如匹配文件名用[^/]+比GREEDYDATA可控性高很多
• 正则中需要匹配字面量.、*这类特殊字符时，必须加反斜杠转义。

内容的提问来源于stack exchange，提问作者micro