如何解析并保留注释？OCaml转译工具解析器优化问题

在使用OCamllex和Menhir处理注释保留时，无需在每个产生式中显式添加注释规则，以下是几种更简洁高效的方案：

1. 词法阶段记录注释位置与内容 #

• 在OCamllex中定义注释的词法规则时，不要直接丢弃注释，而是将其封装为带位置信息的令牌输出，比如：

  rule token = parse
    | "(*" ([^'*'] | '*'[^')'])* "*)" as c
      { COMMENT (c, Lexing.lexeme_start_p lexbuf, Lexing.lexeme_end_p lexbuf) }
    | ... (* 其他令牌规则 *)
  

  这里记录了注释文本、起始和结束的位置信息，方便后续关联到语法节点。

2. Menhir中通过语义动作关联注释 #

• 无需在每个产生式的所有位置显式匹配注释，而是利用语义值传递，将注释与邻近的语法节点绑定。
• 例如，定义语法节点时携带其前后的注释列表：

  expr:
    | cs = comment*; e = expr; cs' = comment*
      { ExprWithComments (e, cs @ cs') }
    | ... (* 其他表达式规则 *)
  

  也可以借助Menhir的%attribute特性，批量为语法节点添加注释关联逻辑，避免重复代码。

3. 令牌流包装器自动关联注释 #

• 在词法分析器和语法分析器之间增加一层包装，当获取令牌时，自动收集当前令牌前后的注释并绑定在一起。
• 比如实现一个函数，每次从OCamllex获取令牌时，先把所有连续的注释收集起来，再和下一个非注释令牌组成一个元组传递给Menhir，这样语法分析器只需处理绑定后的单元，无需关注单独的注释令牌。

4. 参考OCaml官方编译器的实现思路 #

OCaml官方编译器的词法分析器会将注释与后续的语法令牌关联，语法分析过程中通过语义动作将注释附加到对应的语法结构上，这种模式避免了在每个产生式中重复定义注释匹配规则，是成熟的参考方案。

内容的提问来源于stack exchange，提问作者João Nini