使用Splunk rex命令提取日志字段遇异常，请求技术协助

现有日志的正则修正 #

你的rex命令存在字段名拼写错误、捕获组未命名、字符串匹配不完整、未隔离MESSAGE字段导致引号干扰等问题，以下是修正后的完整搜索语句：

| rex field=_raw 'MESSAGE="(?<MESSAGE>[^"]+)"'
| rex field=MESSAGE 'Type_of_Call\s*=\s*(?<Type_of_Call>[^=]+?)\s+LOB\s*=\s*(?<LOB>\w+)\s+Date/Time_Stamp\s*=\s*(?<Date_Time_Stamp>[0-9TZ.:-]+)\s+Policy_Number\s*=\s*(?<Policy_Number>[\w-]+)\s+Requester_Id\s*=\s*(?<Requester_Id>\w+)\s+Last_Name\s*=\s*(?<LastName>\w+)\s+State\s*=\s*(?<State>\w+)'
| rename Type_of_Call AS "Type of Call" Date_Time_Stamp AS "Date/Time Stamp" Policy_Number AS "Policy Number" Requester_Id AS "Requester Id"
| table "Type of Call" LOB "Date/Time Stamp" "Policy Number" "Requester Id" LastName State

修正要点： #

• 隔离MESSAGE字段：先从_raw中提取MESSAGE的纯内容（排除首尾引号），避免其他字段干扰，同时解决State带引号的问题。
• 完整捕获Type_of_Call：用[^=]+?非贪婪匹配，完整捕获"Sample Call"这类带空格的值，而非仅匹配第一个单词。
• 修正字段名匹配：将正则中的Requestor_Id改为Requester_Id，与日志中的字段名一致。
• 命名Last_Name捕获组：添加(?<LastName>\w+)，确保该字段能被提取并在表格中展示。
• 字段名重命名：用rename将机器可读的字段名转为你需要的展示名称，确保表格列与提取字段对应。

优化方案：修改日志格式简化提取 #

如果能调整日志格式为带引号包裹值的标准键值对，可以直接用Splunk自带的KV命令自动解析，无需编写复杂正则。优化后的日志格式示例：

LOG_LEVEL="INFO" MESSAGE="Type_of_Call=\"Sample Call\" LOB=\"F\" Date/Time_Stamp=\"2022-10-10T21:10:53.900129\" Policy_Number=\"12-AB-1234-5\" Requester_Id=\"A1231301\" Last_Name=\"SAMPLE\" State=\"IL\" City=\"Chicago\" Zip=\"12345\"" APPLICATION_VERSION="appVersion_IS_UNDEFINED"

对应的搜索语句：

| rex field=_raw 'MESSAGE="(?<MESSAGE>[^"]+)"'
| eval MESSAGE=replace(MESSAGE, "\\\"", "\"")
| KV input=MESSAGE
| rename Type_of_Call AS "Type of Call" Date/Time_Stamp AS "Date/Time Stamp" Policy_Number AS "Policy Number" Requester_Id AS "Requester Id" Last_Name AS LastName
| table "Type of Call" LOB "Date/Time Stamp" "Policy Number" "Requester Id" LastName State

优势： #

• KV命令自动识别所有键值对，无需手动编写正则匹配每个字段。
• 格式更规范，后续新增字段时无需修改搜索语句，扩展性更强。

内容的提问来源于stack exchange，提问作者ashu mallik