Grafana Loki使用pattern解析日志报unexpected IDENTIFIER错误

问题现象 #

使用Grafana + Loki通过pattern语法解析Nginx格式访问日志时触发语法错误，先后尝试将pattern内容的包裹符从反引号替换为双引号、单引号，错误均复现，无法正常使用pattern解析功能。

复现信息 #

原异常查询语句 #

{pod=~"backend-deployment-.*"} |~ pattern `<_> - - <_> "<method> <path> <_>" <status> <_> "<_>" "<_>" <_> <duration> [<service>] [<_>] <_> <_> <_> <_> <_>`  

待解析目标日志样例 #

10.110.1.132 - - [27/Aug/2021:02:37:06 +0000] "GET /main.d8e010115d6aba1bd049.js.map HTTP/2.0" 200 10842370 "https://gym.com/students/edit/173" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Safari/605.1.15" 34 20.031 [gymauto-gymauto-frontend-service-v1-8080] [] 10.110.5.217:8080 10842370 20.035 200 a7c4299aaa7ea674e91d13315

抛出错误 #

parse error at line 1, col 35: syntax error: unexpected IDENTIFIER, expecting STRING

根因分析 #

• 核心语法错误：管道符使用不符合LogQL规范。|~是Loki中专用于正则匹配过滤日志行的管道符，后面必须直接接正则表达式字符串；而pattern是独立的日志结构化解析算子，需要通过普通管道符|直接连接，不能附加~。原写法|~ pattern会让LogQL解析器将pattern识别为待匹配的正则标识符，而非解析关键字，因此抛出「期望字符串、意外遇到标识符」的语法错误，和pattern内容的包裹符没有关系。
• 表达式匹配逻辑错误：原pattern表达式和目标日志结构不匹配，- - 分隔符后紧跟的是带方括号的时间字段，原pattern在- -后直接设置通配位<_>，没有对齐字段顺序，即使修正语法错误也无法正确提取目标字段。

最优修复方案 #

• 修正管道符：将|~ pattern替换为| pattern，直接解决语法报错问题。
• 对齐日志结构修正pattern表达式，补全时间位的匹配规则，修正后可直接运行的完整LogQL如下：

{pod=~"backend-deployment-.*"} | pattern `<_> - - [<_>] "<method> <path> <_>" <status> <_> "<_>" "<_>" <_> <duration> [<service>] [<_>] <_> <_> <_> <_> <_>`

• 可选调整：如果需要提取客户端IP、请求时间字段，可以将对应位置的<_>通配符替换为自定义命名捕获变量，例如<client_ip>、<request_time>，即可自动提取对应字段用于后续统计、过滤。

内容的提问来源于stack exchange，提问作者CaptainPy