如何解决AutoHotkey转C#的ANTLR语法解析三类核心问题？

1. 赋值表达式空格/换行歧义解决 #

将空白（空格、制表符、换行）统一放到词法分析的隐藏通道，语法规则中不再显式处理可选空白，彻底避免LL_EXACT_AMBIG_DETECTION错误。

词法规则调整 #

WS: [ \t]+ -> channel(HIDDEN);
EOL: '\r'? '\n' -> channel(HIDDEN);

语法规则重构 #

将赋值表达式作为二元表达式，用左递归定义（符合ANTLR对二元运算符的处理逻辑）：

expression
    : singleExpression
    | expression ':=' expression // 赋值操作自然支持任意空白分隔
    ;

singleExpression
    : IDENTIFIER
    | NUMBER
    | '(' expression ')'
    // 其他原子表达式定义
    ;

解析器会自动忽略所有隐藏通道的空白，无需在规则中写s?或EOL?，从根源消除歧义。

2. Remap语法a::b的Token拆分优化 #

直接在词法层面拆分按键与分隔符，语法规则直接引用独立Token，无需Visitor二次解析。

词法规则定义 #

// 先定义Remap分隔符，避免与其他规则冲突
REMAP_SEP: '::';
// 按键Token：覆盖普通字符与AHK特殊按键，可根据实际需求扩展
KEY: [a-zA-Z0-9]+ | 'Ctrl' | 'Shift' | 'Alt' | 'Enter' | 'Space' | 'Tab';
// 标识符规则（如果需要），注意优先级：KEY要放在IDENTIFIER之前，避免特殊按键被识别为标识符
IDENTIFIER: [a-zA-Z_][a-zA-Z0-9_]*;

语法规则简化 #

remapStatement: KEY REMAP_SEP KEY;

解析后可直接通过remapStatement().KEY(0)和remapStatement().KEY(1)获取前后两个按键Token，无需额外字符串拆分。

3. 清理冗余EOL与空格定义 #

基于第一步的隐藏通道处理，全面移除语法规则中所有显式的EOL?、WS?或s?定义：

• 原规则如statement EOL?改为statement
• 原规则如functionDeclaration '{' EOL* statement* EOL* '}'改为functionDeclaration '{' statement* '}'

所有空白由词法分析自动跳过，语法结构会大幅简化，可读性与维护性提升。

4. 解析性能优化（目标：10秒内处理30万条语句） #

• 启用SLL解析模式：生成解析器时添加-Xforce-atn和-Xsll参数，跳过全上下文分析（需确保语法无歧义，若有歧义可先调整语法消除），解析速度可提升2-3倍。
• 使用无缓冲字符流：解析大文件时，替换CharStream为UnbufferedCharStream，减少内存占用与IO开销：

  var input = new UnbufferedCharStream(File.OpenText("large_script.ahk"));
  var lexer = new SimpleLexer(input);
  

• 词法规则优化：合并相似规则，避免正则表达式回溯，例如将多个特殊按键Token合并为一个规则，而非分开定义。
• 批量解析而非逐行处理：一次性加载全部脚本内容解析，避免重复初始化解析器/词法器的开销。
• Visitor逻辑优化：减少Visitor中的重复计算与对象创建，例如复用C#语法节点实例，或延迟非必要的节点处理。

内容的提问来源于stack exchange，提问作者Descolada