FParsec：从指定解析器提取行号列号并添加至AST的最优方法

这个问题我之前在做自定义语言解析项目时踩过不少坑，分享几个经过实践验证的最优方法：

1. 优先用解析器自带的位置追踪能力 #

大多数成熟的解析器框架（比如ANTLR、PEG.js、Python标准库的ast模块）本身就内置了位置信息收集功能，这是最省心且不易出错的方式：

• 比如用ANTLR的话，每个解析得到的ParseTree节点都提供getStart()和getStop()方法，能直接获取对应语法结构的起始/结束行号、列号，你只需要在转换生成AST节点时，把这些值同步过去就行。
• Python的ast模块更直接，解析后的每个AST原生节点都自带lineno（行号）和col_offset（列偏移量）属性，完全不用额外开发，直接拿来用就好。

2. 手写解析器？手动注入位置追踪 #

如果是自己从零写的递归下降解析器，就得从词法分析阶段就开始做位置记录：

• 词法分析器在生成每个token时，同步统计并记录它的起始行号、列号——行号可以通过统计扫描过程中遇到的换行符数量来计算，列号则是当前行内的字符偏移量（注意要跳过空白字符的影响）。
• 递归下降解析每个语法结构时，把对应token的位置信息关联到生成的AST节点上。比如解析赋值语句时，可以把整个语句的起始（变量名的位置）和结束（分号的位置）信息存在AST节点的position字段里。

3. 统一封装位置信息，避免混乱 #

不管用哪种方式，建议把位置信息封装成一个统一的结构体（或类），让所有AST节点都持有这个结构体的引用：

class Position:
    def __init__(self, start_line, start_col, end_line, end_col):
        self.start_line = start_line
        self.start_col = start_col
        self.end_line = end_line
        self.end_col = end_col

class BaseASTNode:
    def __init__(self, position: Position):
        self.position = position

这样后续不管是做错误提示（比如“第X行第Y列存在语法错误”）还是代码静态分析，都能统一获取位置信息，不会出现格式混乱的问题。

4. 别忽略边缘场景的处理 #

• 跨多行的语法结构：比如跨多行的函数定义、多行字符串，要记录整个结构的起始行和结束行，而不是只记录某一个token的位置。
• 空白与注释：词法分析时跳过空白和注释的同时，要记得同步更新行号统计，不然会导致位置信息错位（比如注释里的换行符也要算进行号里）。
• 动态生成的AST节点：如果是手动生成而非从源码解析来的AST节点，可以给位置字段设为None或者特殊标记（比如Position(-1, -1, -1, -1)），避免和真实源码位置混淆。

内容的提问来源于stack exchange，提问作者falkmar