ANTLR4 中如何在词法规则动作内同时发射多个指定Token?
实现方案
在/* here! */对应的词法动作块中,通过ANTLR Lexer暴露的原生API手动构造额外的FOO类型Token,将其推入Token输出流,同时保证BAR规则对应的默认Token可以被正常发射,完整代码如下(基于Java目标的ANTLR4实现):
// 构造与FOO规则匹配逻辑一致的额外Token,位置对齐当前匹配到的'y'字符 Token extraFoo = _factory.create( _tokenFactorySourcePair, FOO, "x", DEFAULT_TOKEN_CHANNEL, _tokenStartCharIndex, _tokenStartCharIndex, _tokenStartLine, _tokenStartCharPositionInLine ); // 将额外的FOO Token推入输出队列 emit(extraFoo); // 重置内部Token状态,确保BAR规则自身的默认Token能被正常发射 _token = null;
逻辑说明
- 代码完全基于原生词法API实现,不需要修改任何原有语法规则的匹配逻辑,所有原有规则的行为、属性完全保留
- 代码执行后,当输入字符为
'y'时,词法分析器的输出流会依次生成两个连续的Token:类型为FOO的Token、类型为BAR的Token - 手动构造的FOO Token的文本、位置、通道属性,和直接匹配到
'x'时生成的Token属性完全一致,不会对后续语法分析流程产生非预期影响 - 最后将
_token置为null是关键操作:如果缺少这一步,词法分析器执行完动作后会直接返回我们手动构造的FOO Token,跳过BAR规则默认Token的发射流程
注:如果使用其他语言目标(如C#、Python3、Go),核心逻辑保持不变,仅需要对应调整目标语言的Lexer API调用写法,本质都是完成「构造额外Token、推入输出流、保留原规则默认Token发射」三个步骤。
内容的提问来源于stack exchange,提问作者yegor256
相关产品推荐
相关产品推荐

