ANTLR语法中句号未被识别及匹配错误问题求助

背景 #

我是ANTLR新手，在ANTLR Lab测试自定义TextBlock语法时，遇到句号（.）未被识别的token错误，同时存在输入匹配问题。试了两种语法修改仍没彻底解决，求问题原因和解决办法。

原始语法 #

grammar TextBlock;
textBlock: sentence+ EOF;
sentence: word+ FullStop;
word: LETTER+;
LETTER: [a-zA-Z];
FullStop: '.';

测试输入 #

This is a text.
It consists of several lines.
Each line consists of one or more Words and is terminated with a fullstop.

原始错误信息 #

1:14 token recognition error at: '.'
2:28 token recognition error at: '.'
3:73 token recognition error at: '.'
1:0 mismatched input 'This' expecting 'and'
3:29 extraneous input 'more' expecting {, 'and'}
3:44 extraneous input 'is' expecting {'and', '.'}

尝试的修改及结果 #

修改1：添加语义谓词 #

sentence: word+ FullStop {getText().length() > 1};

结果：无明显改善，问题依旧。

修改2：添加空白符跳过规则 #

WS: ('\t' | '\n' | '\r' )+ -> skip ;

结果：错误信息部分变化，但句号未识别和匹配问题仍存在：

1:14 token recognition error at: '.'
2:28 token recognition error at: '.'
3:73 token recognition error at: '.'
1:0 mismatched input 'This' expecting 'or'
3:29 extraneous input 'more' expecting {'or', '.'}

问题原因及解决方法 #

核心原因 #

1. 空白符未处理：原始语法没有跳过空格、换行等空白符，ANTLR会将这些空白符视为无效token，打乱句子结构的匹配逻辑，导致解析器状态混乱，连句号都无法正确识别。
2. 语法环境干扰：错误信息中出现期望"and"、"or"的提示，说明当前语法环境中可能存在未显示的关键字规则（比如之前定义过相关规则，或ANTLR Lab加载了默认示例语法），导致解析器错误地期望这些关键字，而非正常的单词。
3. 冗余语义谓词：修改1中的语义谓词完全多余，不仅解决不了问题，还可能引入额外的解析逻辑干扰。

解决步骤 #

1. 完善空白符规则：将空白符规则修改为更简洁全面的写法，确保所有空白字符都被跳过：

   WS: [ \t\r\n]+ -> skip;
   

2. 清理语法环境：在ANTLR Lab中创建全新的测试项目，确保完全替换默认语法内容，避免残留的规则干扰。
3. 移除冗余谓词：删除修改1中添加的{getText().length() > 1}语义谓词，恢复sentence: word+ FullStop;的原始定义。
4. 验证语法逻辑：确保语法规则符合预期：
   • textBlock：匹配一个或多个句子直到文件结束
   • sentence：匹配一个或多个单词加句号
   • word：匹配一个或多个英文字母
   • FullStop：匹配英文句号
   • WS：跳过所有空白字符

按上述步骤修改后，重新测试输入即可正常识别所有内容，解决句号未识别和输入匹配错误的问题。

内容的提问来源于stack exchange，提问作者rwb