如何为含无引号字符串字面量的自定义格式构建语法区分标识符？

核心思路 #

要让解析器区分等号前的标识符和无引号字符串，关键是利用语法上下文的差异设计规则——通过明确的语法结构，强制等号前的内容只能是标识符，而类型参数位置的无单词语法单元则被解析为字符串字面量。

词法单元定义 #

先明确基础词法规则，确保解析器能正确识别不同类型的输入：

• IDENT：标识符，定义为字母/下划线开头，后跟字母/数字/下划线的序列（比如widget2、Widget、foo）。
• QUOTED_STRING：带引号的字符串，用双引号包裹，支持转义（比如"Widget 1"、"bar baz"）。
• 跳过注释（//到行尾）和空白字符。

语法规则分层设计 #

通过分层的语法规则，明确区分不同上下文的语法结构：

1. 块结构

定义最外层的块：

block : IDENT '{' statement* '}'

2. 语句类型

区分两种核心语句：匿名声明和赋值声明：

• 匿名声明：直接以类型名开头，后跟名称和可选描述

  anonymous_statement : type_name string_literal (string_literal)?
  

• 赋值声明：标识符 + 等号 + 类型实例（结构和匿名声明的类型部分一致）

  assignment_statement : IDENT '=' type_instance
  

3. 通用结构复用

把类型实例的结构抽出来复用，确保匿名和赋值场景的类型定义一致：

type_instance : type_name string_literal (string_literal)?
type_name : IDENT // 比如Widget、Dongle、Gadget这类类型标识
string_literal : IDENT | QUOTED_STRING // 单词无引号/多词带引号均视为字符串

关键逻辑说明 #

• 赋值声明里，等号前的位置被语法规则强制要求为IDENT，解析器会直接将其识别为变量标识符，而非字符串字面量；如果此处出现带引号字符串，解析器会直接抛出语法错误。
• 类型名称后的名称/描述位置，IDENT和QUOTED_STRING都被解析为字符串字面量，实现Widget2和"Widget2"语义等价的需求。

完整语法示例（ANTLR风格） #

grammar CustomFormat;

// 最外层块
block
    : IDENT '{' statement* '}'
    ;

// 所有语句类型
statement
    : anonymous_statement
    | assignment_statement
    ;

// 匿名声明：比如Widget "Widget 1" "描述"
anonymous_statement
    : type_name string_literal (string_literal)? ';'? // 可选分号，根据格式调整
    ;

// 赋值声明：比如widget2 = Widget Widget2 "描述"
assignment_statement
    : IDENT '=' type_instance ';'?
    ;

// 类型实例结构
type_instance
    : type_name string_literal (string_literal)?
    ;

// 类型名称（如Widget、Dongle）
type_name
    : IDENT
    ;

// 字符串字面量：单词无引号/多词带引号
string_literal
    : IDENT
    | QUOTED_STRING
    ;

// 带引号字符串词法规则
QUOTED_STRING
    : '"' (~["\\] | '\\' .)* '"'
    ;

// 标识符词法规则
IDENT
    : [a-zA-Z_] [a-zA-Z0-9_]*
    ;

// 跳过注释
COMMENT
    : '//' ~[\r\n]* -> skip
    ;

// 跳过空白字符
WS
    : [ \t\r\n]+ -> skip
    ;

实现提示 #

• 语义分析阶段，可将IDENT类型的string_literal转换为普通字符串（比如把Three转为"Three"），统一处理无引号和带引号字符串的语义。
• 如果需要限制类型名称（如Widget不能作为变量名），可在语义分析阶段检查赋值声明的标识符是否属于预定义的类型名集合，不符合则抛出错误。

内容的提问来源于stack exchange，提问作者ct_