Splunk中Rex提取JobIds后统计总数不符，如何修正？

问题场景 #

你有以下格式的日志消息，每条包含一个或多个JobId：

• {"JobIds":["661ce07c-b5f3-4b37-8b4c-a0b76d890039","db7a18ae-ea59-4987-87d5-c80adefa4475"]}
• {"JobIds":["661ce07c-b5f3-4b37-8b4c-a0b76d890040","db7a18ae-ea59-4987-87d5-c80adefa4489"]}
• {"JobIds":["661ce07c-b5f3-4b37-8b4c-a0b76d890070"]}

使用原查询语句统计时返回总数为3，但实际需要统计的总数是5：

| rex field=message "\"(?<job_ids>(?:\w+-\w+-\w+-\w+-\w+)+),?\"" 
| stats count(job_ids)

问题原因 #

1. 原正则表达式将同一条日志中的多个JobId合并成了一个捕获值，比如第一条日志的两个JobId会被当作一个job_ids字段值。
2. Splunk的rex命令默认只提取第一个匹配项，即使正则能匹配多个，也只会生成一个字段值，导致每条日志仅贡献一个计数。

解决方案 #

方法1：提取多值字段后拆分统计（适合需后续处理单个JobId的场景） #

使用max_match=0让rex提取所有符合模式的JobId到多值字段，再用mvexpand将多值字段拆分为单独事件行，最后统计总数：

| rex field=message max_match=0 "\"(?<job_ids>\w+-\w+-\w+-\w+-\w+)\""
| mvexpand job_ids
| stats count(job_ids) as total_job_ids

方法2：直接计算多值字段长度之和（高效统计总数） #

无需拆分事件，直接用mvcount获取每条日志的JobId数量，再求和得到总数：

| rex field=message max_match=0 "\"(?<job_ids>\w+-\w+-\w+-\w+-\w+)\""
| stats sum(mvcount(job_ids)) as total_job_ids

两种方法都能正确返回总数5。

内容的提问来源于stack exchange，提问作者Adjit