ANTLR4解析输入匹配错误问题排查与解决方案咨询

问题场景 #

需要解析的消息格式：

:12B:DOCUMENT:some nice text
DOCUMENT2:some nice text

期望解析输出：

• heading -> 12B
• subheading -> DOCUMENT
• subheading -> DOCUMENT2
• TEXT -> some nice text
• TEXT -> some nice text

使用的ANTLR4语法规则：

grammar Simple;

para    :   heading*  EOF;

header  :   heading text ;
heading :   COLEN HEAD COLEN;


text    :   TEXT;

/* tokens */
TEXT    :   ~[\t]+   ; 
HEAD    :   [0-9A-Z]+  ;
COLEN : ':';

执行解析后报错：

line 1:0 mismatched input ':12:nithin\n' expecting ':' 

错误原因 #

1. Token优先级冲突：ANTLR4词法分析器会优先匹配最长的可能token。你的TEXT规则定义为~[\t]+，即除制表符外的任意字符序列，这会把:12B:DOCUMENT:some nice text整行当成一个TEXT token，而非拆分成COLEN、HEAD等预期token。因为~[\t]+包含冒号和字母数字，匹配长度远长于HEAD和COLEN，导致词法分析器优先识别为TEXT，语法规则无法匹配预期的COLEN开头结构。
2. 语法规则不匹配目标格式：原语法中para仅匹配heading*，但目标消息存在DOCUMENT2:some nice text这类无前置冒号的行；同时heading规则仅处理:HEAD:结构，完全未覆盖subheading:TEXT的格式，逻辑上不符合需求。

解决方案 #

1. 修正词法规则（解决Token匹配问题） #

调整词法规则顺序和匹配逻辑，让COLEN和HEAD优先被识别，同时限制TEXT的匹配范围，避免吞掉其他token：

/* 词法规则：优先级从高到低排列 */
COLEN : ':';
HEAD : [0-9A-Z]+;
TEXT : ~[:\n]+; // 匹配除冒号、换行外的任意字符，避免吞掉COLEN和HEAD
WS : [\t\r\n]+ -> skip; // 跳过空白符（制表符、换行、回车）

注：ANTLR4词法规则顺序决定匹配优先级，将COLEN和HEAD放在TEXT前，确保它们先被识别。

2. 修正语法规则（匹配目标格式） #

根据期望输出，定义两种行结构：第一行的:<heading>:<subheading>:<text>，第二行的<subheading>:<text>，调整后的语法规则：

grammar Simple;

// 顶层规则：匹配所有行
para : line+ EOF;

// 两种行类型
line : colon_heading_line | simple_subheading_line;

// 处理第一行格式 :12B:DOCUMENT:some nice text
colon_heading_line : COLEN heading COLEN subheading COLEN text;

// 处理第二行格式 DOCUMENT2:some nice text
simple_subheading_line : subheading COLEN text;

// 定义各个元素
heading : HEAD;
subheading : HEAD;
text : TEXT;

/* 词法规则 */
COLEN : ':';
HEAD : [0-9A-Z]+;
TEXT : ~[:\n]+;
WS : [\t\r\n]+ -> skip;

3. 验证解析输出 #

使用上述语法生成解析器后，解析目标消息会得到完全符合预期的输出：

• heading -> 12B
• subheading -> DOCUMENT
• TEXT -> some nice text
• subheading -> DOCUMENT2
• TEXT -> some nice text

额外注意点 #

• 原语法中header规则定义后未被使用，属于冗余代码，建议删除。
• 原TEXT规则的~[\t]+会匹配换行符，导致多行被当成一个TEXT，添加\n排除后可按行处理。

内容的提问来源于stack exchange，提问作者Nithin Varghese