ANTLR4语法无法正确识别模式内字段问题排查求助

问题场景 #

开发类似Prisma ORM的简易Schema解析语法，现有Lexer和Parser代码无法正确解析测试用例中的字段，同时对Lexer中fragment的使用存在疑问。

测试用例：

model test {
    id test
    user test
}

预期解析出两个字段：(FIELDNAME: id, FIELDTYPE: test)和(FIELDNAME: user, FIELDTYPE: test)，但实际未正确解析。

核心问题分析 #

1. Lexer提前合并Token导致Parser无法匹配：原Lexer中的OPENMODEL规则将MODEL、MODELNAME、OPEN合并成单个Token，而Parser的modelstart规则期望匹配独立的这三个Token，两者不兼容。
2. 复合Token与Parser规则冲突：MODELMODE中的FIELD规则将FIELDNAME、FIELDTYPE、NEWLINE合并成单个Token，但Parser的modelfield规则需要独立的这三个Token，导致无法识别。
3. MODELMODE未处理空白字符：测试用例中字段前的空格没有被跳过，会被视为无效字符干扰解析。

修改后的代码 #

Lexer代码 #

lexer grammar OrmLexer;

// 全局Token
MODEL: 'model';
MODELNAME : LETTERS+;
OPEN : '{';
CLOSE: '}' -> popMode ;

// 全局空白与换行处理
WHITESPACE : [ \t] -> skip ;
NEWLINE: '\r' '\n' | '\n' | '\r';

// 模型内部模式
mode MODELMODE ;
FIELDNAME   : LETTERS+;
FIELDTYPE   : LETTERS+;
MODEL_CLOSE: '}' -> popMode ;
MODEL_WHITESPACE : [ \t] -> skip ;
MODEL_NEWLINE: '\r' '\n' | '\n' | '\r';

// 辅助片段，仅用于Lexer内部复用
fragment LETTERS  : [a-zA-Z] ;

Parser代码 #

parser grammar OrmParser;

options { tokenVocab=OrmLexer; }

start: root | EOF ;
root: model*;

model : MODEL MODELNAME OPEN modelbody CLOSE;
modelbody: modelfield*;
modelfield : FIELDNAME FIELDTYPE (NEWLINE | MODEL_NEWLINE) ;

修改说明 #

• 移除OPENMODEL复合规则，让Lexer生成独立的MODEL、MODELNAME、OPENToken，匹配Parser的规则定义。
• 删除MODELMODE中的FIELD复合规则，确保FIELDNAME、FIELDTYPE、换行符作为独立Token被Parser识别。
• 在MODELMODE中添加空白字符处理规则，跳过字段前的空格。
• 调整Parser的model规则结构，简化层级，同时兼容全局与模型内部的换行符。

关于fragment的使用说明 #

• 用途：fragment是Lexer的辅助规则，仅用于被其他Lexer规则引用，不会生成独立的Token，目的是复用重复的模式定义。
• 适用场景：当多个Lexer规则需要使用相同的字符集或子模式时，比如多个标识符规则都需要字母开头，就可以把字母部分抽成fragment。
• 禁止场景：如果需要某个模式生成独立的、可被Parser识别的Token（比如FIELDNAME、MODELNAME），不能用fragment，必须定义为普通的Lexer规则。

内容的提问来源于stack exchange，提问作者rowan-vr