ANTLR4解析前过滤Token：处理未定义#if语句内容的最优方案

最优方案：自定义过滤版CommonTokenStream #

你考虑的继承CommonTokenStream并处理Token列表的思路是可行的，而且是这类场景下的标准做法。更规范的实现方式是重写核心方法而非直接修改内部字段，这样能兼容不同ANTLR版本，避免依赖私有/protected字段的变动。

具体步骤： #

1. 生成过滤后的Token列表
   先遍历原始CommonTokenStream，按照你的预处理逻辑（判断#if条件是否已定义，保留#if和#endif标记，移除中间无效内容），生成一个仅包含有效Token的List<Token>。

2. 自定义TokenStream实现
   继承CommonTokenStream，重写get(int index)和size()方法来返回过滤后的Token列表：

   List<Token> filteredTokens = 你的过滤逻辑生成的列表;
   CommonTokenStream filteredStream = new CommonTokenStream(null) {
       @Override
       public Token get(int index) {
           return filteredTokens.get(index);
       }
   
       @Override
       public int size() {
           return filteredTokens.size();
       }
   };
   

   如果你的ANTLR版本允许直接访问tokens字段（部分版本中是protected），也可以直接赋值：

   CommonTokenStream filteredStream = new CommonTokenStream(lexer);
   filteredStream.tokens = filteredTokens;
   

   但重写方法的方式更稳妥，不会因为版本更新导致代码失效。

3. 传入解析器
   把这个过滤后的TokenStream直接传给解析器构造函数，解析器就会基于清理后的Token流工作，完全看不到被过滤的内容。

为什么TokenStreamRewriter不适用？ #

TokenStreamRewriter只是在输出时修改文本，本质上不会移除原始Token流中的内容——解析器还是会看到那些未定义块内的Token，自然会触发语法错误，所以完全不符合你的需求。

额外优化点 #

• 先处理#define指令：如果要支持动态定义的符号，得先遍历Token流收集所有#define的内容，再进行#if块的过滤，确保条件判断准确。
• 处理嵌套#if块：注意识别嵌套的#if-endif结构，避免误删外层或内层的有效内容。
• 尽早过滤：在Lexer分词完成后立刻做过滤，减少后续不必要的处理开销。

内容的提问来源于stack exchange，提问作者Miha Markic