You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

请求明确区分Accepting Token与Parsed Tokens的专业术语

令牌规则与实例的专业术语区分
  • 令牌类型(Token Types)/令牌定义(Token Definitions):对应你所说的Accepting Token,是预定义的令牌规则集合,比如OPEN_PAREN: '('、NUMBER: \d+这类带有类型标识和匹配模式的定义,用于指导词法分析器识别源文本中的对应序列。
  • 令牌实例(Token Instances)/令牌流(Token Stream):对应你所说的Parsed Tokens,是词法分析器在处理源文本后生成的具体令牌集合,比如解析(2+(3))得到的包含OPEN_PAREN、NUMBER(2)、PLUS等具体项的列表,每个实例都关联了对应的令牌类型和源文本中的具体内容。

这两组术语在编译原理领域是通用的,能清晰区分规则定义和实际生成的令牌实例,避免混淆。

内容的提问来源于stack exchange,提问作者David542

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.07 08:45:18