为何我的ANTLR语法输入(a:b)时报extraneous input 'a'错误?
报错根因
- 语法中定义的两个词法规则
TYPE、INAME匹配范围完全重合:二者都匹配单个大小写英文字符或下划线,没有任何可从纯文本层面区分的特征。 - ANTLR的词法分析、语法分析是完全独立的两阶段流程:lexer运行全程不感知parser的规则逻辑,严格按照词法规则从上到下的优先级匹配字符,只要命中位置靠上的规则就直接为token打上对应标签,不会等待parser的上下文判断再回头选择适用的规则。
- 当前的规则定义顺序里,
TYPE写在INAME前面,因此所有符合[A-Za-z_]范围的单字符,都会被lexer直接判定为TYPE类型token,永远不会生成INAME类型的token。
对输入(a:b)的完整解析流程可直接对应报错信息:
- 词法阶段结束后生成的token序列为:
(、TYPE(值为a)、:、TYPE(值为b)、) - 进入语法分析阶段执行
namesAndTypes规则时,parser在位置1(对应字符a的位置)期待的输入是INAME或者:,但实际拿到的token是TYPE,因此直接抛出“line 1:1 extraneous input 'a' expecting {':', INAME}”的错误。
修复思路
- 重新设计两个词法规则的匹配范围,从纯文本层面做出明确区分:比如如果
TYPE固定要求首字母大写、INAME允许后续拼接数字,要把对应的匹配特征写进规则里,让lexer不需要依赖上下文就能准确判定token类型。 - 如果两种使用场景的文本本身没有固定区分特征,就把两个规则合并为同一个通用标识符词法规则,在语法分析阶段结合上下文判断当前标识符是作为类型名还是实例名使用,不要把依赖上下文的判断逻辑扔给无状态的词法分析器。
- 如果确实需要parser来决定当前文本的token属性,不要单独定义独立的lexer规则做区分,直接在parser规则中引用匹配字符范围的lexer片段,绕开lexer阶段的固定优先级判定。
内容的提问来源于stack exchange,提问作者Tony Ennis
相关产品推荐
相关产品推荐

