ANTLRWorks 1.5.2自定义文法解析连续数字触发解析异常的问题排查
ANTLRWorks 1.5.2 简易按键文法连续数字解析问题排查
基础测试场景
本次在ANTLRWorks 1.5.2环境下开发自定义简易文法,目标支持解析形如(abc45{r24})的输入,语义为重复执行a、b、c、4、5的按键序列共24次。
初始编写的文法规则如下:
ANTLRWorks 1.5.2 Grammar: expr : '(' (key)+ repcount ')' EOF; key : KEY | digit ; repcount : '{' 'r' count '}'; count : (digit)+; digit : DIGIT; DIGIT : '0'..'9'; KEY : ('a'..'z'|'A'..'Z') ;
初始测试用例结果
(abc4{r4}):解析正常(abc44{r4}):触发NoViableAltException(abc4 4{r4}):解析正常(abc4{r45}):触发MismatchedTokenException(80!=21)(abc4{r4 5}):解析正常
最初的认知是(key)+与(digit)+的规则定义可以支持逐位解析连续数字,无法解释无空格分隔的连续数字触发异常的原因,带空格分隔的多数字输入却可以正常解析。
问题根因定位
后续排查发现,文法文件下方残留了从其他文法复制、未被任何解析规则引用的FLOAT词法规则,规则定义包含连续数字匹配逻辑:
FLOAT : ('0'..'9')+ '.' ('0'..'9')* EXPONENT? | '.' ('0'..'9')+ EXPONENT? | ('0'..'9')+ EXPONENT ;
测试验证结果:
- 删除整段FLOAT规则后,所有测试用例均可正常解析
- 保留任意一条FLOAT子规则,即可复现之前的解析报错
核心疑问说明
异常与机制相关问题
NoViableAltException的含义与定位方法
该异常表示解析器遍历到当前语法分支时,找不到可匹配当前输入流的有效可选分支。定位时可通过ANTLRWorks内置的解析调用栈,定位异常抛出的具体语法位置,对照语法规则的分支判断逻辑,查看哪些可选分支被提前排除、和实际输入不匹配。MismatchedTokenException(80!=21)的含义与排查价值
该异常的通用格式为「实际捕获的Token类型ID ≠ 解析器当前节点期望的Token类型ID」,括号内的两个数字是ANTLR为每个词法规则分配的内部唯一标识:其中80是当前从输入流中实际识别出的Token类型ID,21是解析器在当前语法节点上期望获取的Token类型ID。排查时可对照ANTLR生成的词法规则ID映射表,快速定位是哪个词法规则生成的Token不符合语法规则的预期。- 未被引用、看似无法匹配当前输入的FLOAT规则触发解析失败的原因
很多人以为没被解析规则引用的词法规则就是无影响的死代码,实际上ANTLR的词法分析阶段独立于语法解析运行,匹配逻辑是全量扫描所有已定义的词法规则,遵循两个核心原则:一是永远选择能匹配最长输入前缀的规则,二是前缀长度相同时,优先选择定义位置更靠上的规则。
本次问题中,输入流里的连续数字序列,恰好可以匹配FLOAT规则中各子规则的数字前缀部分(比如('0'..'9')+这段匹配逻辑),哪怕这段数字后面没有跟着小数点、指数标识,词法分析器在做前瞻判定时,会把这段连续数字的前缀按FLOAT规则的候选分支识别,最终将整段连续数字标记为FLOAT类型的Token,而不是逐位拆分为单个DIGIT类型的Token返回给解析器。解析器拿到的Token类型和语法规则期望的单个DIGIT不匹配,自然就会触发各类解析异常。
版本兼容性说明
测试过程中发现ANTLRWorks 1.5.2不兼容SPACE : [ \t\r\n]+;这种方括号包裹正则范围的写法,需要使用传统的字符区间格式定义空白规则,才能被编译器正常识别。
测试截图说明
测试过程中截取了两个解析失败的场景:两个场景的核心差异为,一个输入包含两组独立的连续数字序列(分别位于按键序列区、重复计数区),另一个输入仅包含单组连续数字序列,两张截图分别对应两类解析异常的触发场景。
内容的提问来源于stack exchange,提问作者Kevin
相关产品推荐
相关产品推荐

