请求明确区分Accepting Token与Parsed Tokens的专业术语
令牌规则与实例的专业术语区分
- 令牌类型(Token Types)/令牌定义(Token Definitions):对应你所说的Accepting Token,是预定义的令牌规则集合,比如
OPEN_PAREN: '('、NUMBER: \d+这类带有类型标识和匹配模式的定义,用于指导词法分析器识别源文本中的对应序列。 - 令牌实例(Token Instances)/令牌流(Token Stream):对应你所说的Parsed Tokens,是词法分析器在处理源文本后生成的具体令牌集合,比如解析
(2+(3))得到的包含OPEN_PAREN、NUMBER(2)、PLUS等具体项的列表,每个实例都关联了对应的令牌类型和源文本中的具体内容。
这两组术语在编译原理领域是通用的,能清晰区分规则定义和实际生成的令牌实例,避免混淆。
内容的提问来源于stack exchange,提问作者David542
相关产品推荐
相关产品推荐

