ANTLR4因Lookahead导致解析性能骤降的问题排查求助

问题背景 #

我在排查ANTLR4解析性能问题时发现，LiquidParser.g4中第226行的unparsed=not_out_end?规则导致解析大文件的耗时飙升约40倍——原规则下解析耗时约1900ms，移除该规则后耗时直接降至约50ms。

关键排查结果 #

通过ANTLR分析器对比两种场景的解析行为，发现保留unparsed=not_out_end?时，lookahead次数暴增近10000倍，且额外的lookahead主要集中在expr和lookup规则上。

尝试过的方案 #

我尝试过重写output规则来减少lookahead次数，但没有取得效果。目前推测是not_out_end规则中的某些术语触发了lookahead的组合爆炸，进而引发了性能问题。

恳请社区大佬帮忙分析并提供解决方案。

内容的提问来源于stack exchange，提问作者Victor Tatai