如何使用Python解析器生成器TatSu构建YAML解析器

YAML的缩进依赖是解析难点，TatSu通过内置的INDENT/DEDENT标记和状态跟踪机制可以很好地处理这类缩进敏感语法，以下是具体实现步骤：

1. 基础准备 #

• 安装TatSu：pip install tatsu
• 明确YAML核心语法单元：键值对、序列、嵌套结构、标量（字符串/数字/布尔/空值）、注释等

2. 定义TatSu语法规则 #

基于EBNF风格编写YAML核心语法，重点通过INDENT/DEDENT控制缩进层级，示例核心语法如下：

start = document*
document = block $

block = mapping | sequence | scalar

# 序列：- 开头后缩进，包含多个block
sequence = '-' INDENT block+ DEDENT
# 映射：键+冒号后缩进，包含多个block
mapping = key ':' INDENT block+ DEDENT

key = scalar
# 标量类型定义
scalar = STRING | NUMBER | BOOL | NULL

# 正则匹配各类标量
STRING = /"([^"\\]|\\.)*"/ | /'([^'\\]|\\.)*'/ | /[a-zA-Z_][a-zA-Z0-9_]*/
NUMBER = /-?\d+(\.\d+)?/
BOOL = 'true' | 'false'
NULL = 'null'
# 忽略注释
COMMENT = /#.*/ -> None

3. 编写解析器代码 #

通过TatSu的parse函数启用缩进支持，结合语义动作将AST转换为Python原生数据结构：

from tatsu import parse
from tatsu.util import asjson

# 带语义动作的完整语法
yaml_grammar = """
start = document* -> list(document)
document = block -> block

block = mapping | sequence | scalar

sequence = '-' INDENT block+ DEDENT -> list(block)
mapping = key ':' INDENT block+ DEDENT -> dict(zip(key, block))

key = scalar -> scalar
scalar = STRING | NUMBER | BOOL | NULL -> process_scalar(scalar)

STRING = /"([^"\\]|\\.)*"/ -> lambda x: x[1:-1]
NUMBER = /-?\d+(\.\d+)?/ -> lambda x: float(x) if '.' in x else int(x)
BOOL = 'true' -> True | 'false' -> False
NULL = 'null' -> None
COMMENT = /#.*/ -> None
"""

def parse_yaml(text):
    # 启用缩进解析，忽略注释
    ast = parse(yaml_grammar, text, indentation=True, ignore=COMMENT)
    return asjson(ast)

# 测试示例
test_content = """
name: "Alice"
age: 30
hobbies:
- reading
- hiking
active: true
last_login: null
"""

result = parse_yaml(test_content)
print(result)

4. 扩展复杂特性 #

针对YAML的高级特性，可逐步扩展语法：

• 多行字符串：添加|/>开头的规则，匹配多行文本
• 锚点与引用：加入&anchor和*anchor的语法规则，在语义动作中维护锚点映射表
• 缩进宽度兼容：通过TatSu的indentation_width参数指定允许的缩进空格数（默认4）
• 空值与特殊字符：完善标量的正则匹配，覆盖YAML的特殊字符转义规则

5. 调试与优化 #

• 启用trace=True参数查看解析过程，定位缩进匹配错误
• 编写边界测试用例（如空文档、深度嵌套结构、混合缩进）验证解析稳定性
• 通过语义动作优化AST转换逻辑，减少冗余节点

内容的提问来源于stack exchange，提问作者Conao3