如何区分Parser规则与Lexer规则？以type规则为例解析

核心区分逻辑 #

• Lexer规则（大写命名）：是原子性的终端符号，负责从原始字符流中切分出不可再拆分的最小语义单元，比如关键字、运算符、标识符、字面量等。它们直接匹配字符序列，只能使用字符类[a-z]、字符串字面量'::'这类定义，无法引用其他规则。
• Parser规则（小写命名）：是复合语法结构，由终端符号（Lexer规则）或其他Parser规则组合而成，用来描述语言的语法层级（比如表达式、语句、声明等）。

关于type规则的两种写法分析 #

写法1：Parser规则中直接使用字符串字面量 #

type
    : 'date' | 'string' 
    ;

这种写法的本质是ANTLR会自动为'date'和'string'生成隐式的匿名Lexer规则。优点是代码简洁，适合简单的关键字场景；但缺点是如果这些字符串在多个Parser规则中重复出现，会降低代码可读性，且无法对这些关键字做统一的语义处理（比如在Listener/Visitor中单独识别）。

写法2：显式定义Lexer规则后引用 #

type
    : DATE_TYPE | STRING_TYPE
    ;

DATE_TYPE
    : 'date'
    ;

STRING_TYPE
    : 'string'
    ;

这种写法更规范，优势在于：

1. 显式的Lexer规则让语法结构更清晰，便于后续维护；
2. 可在语义分析阶段（Listener/Visitor逻辑中）直接针对DATE_TYPE和STRING_TYPE做特定处理；
3. 避免隐式规则可能带来的优先级问题（比如若存在标识符规则ID: [a-z]+，显式关键字规则的优先级更高，不会被误识别为标识符）。

你的直觉判断是正确的 #

你认为value、string是Parser规则，STRING_VALUE、CAST_OPERATOR是Lexer规则的结论完全准确：

• value和string是由多个规则组合而成的复合结构，属于语法层级的定义；
• STRING_VALUE匹配字符类，CAST_OPERATOR匹配固定运算符，都是不可再拆分的最小语义单元，属于Lexer规则。

关于“原子性终端”的理解补充 #

你的更新理解基本准确，可进一步精准描述：

• Lexer规则的核心是完成字符流到终端符号的转换，输出的是一个个独立的Token（比如DATE_TYPE、CAST_OPERATOR），这些Token是Parser处理的基本单元；
• Parser规则则是将这些Token组合成符合语法规则的结构，可以嵌套、组合其他Parser规则或终端符号，形成更复杂的语法树。

举个例子：$55如果拆成$（Lexer规则DOLLAR: '$'）和55（Lexer规则NUMBER: [0-9]+），Parser规则可定义cost: DOLLAR NUMBER;来组合这两个Token；但如果把cost定义成Lexer规则COST: '$'[0-9]+，那它就是一个不可拆分的Token，Parser只能将其当作整体处理，无法单独获取$或数字部分。

内容的提问来源于stack exchange，提问作者David542