C++中Token是什么？求通俗易懂的概念讲解

你可以把Token看成是C++程序的最小有效单元——就像写中文句子时的汉字、标点、词语，单独拿出来都有明确含义，凑在一起才能组成完整语句。

举个简单的C++代码例子：

int age = 25;
cout << "Hello!";

把这段代码拆成最小的有效单元，就是这些Token：

• 关键字：int
• 标识符：age、cout
• 运算符：=、<<
• 字面量：25、"Hello!"
• 标点符号：;

换个更直白的类比：去超市结账时，收银员会把每个商品（Token）单独扫码，先识别清楚每个东西的类型（食品/日用品）和价格，再算总价。编译器处理代码也是一样——先把整段代码拆成一个个Token，搞清楚每个Token的类型，再按语法规则组合起来理解。

为什么要拆成Token？因为编译器没法直接读懂一整行代码，就像你没法一口气看懂一整页乱序文字，必须先拆成有意义的小单元，再按规则拼接。

回到Stroustrup的书里，第6章讲的Token其实就是编译器的「第一步工作」：把输入的代码文本分解成这些最小单元。比如你写x+5，编译器会拆成x（标识符）、+（运算符）、5（字面量）三个Token，不会把x+5当成一个整体。

再举个容易混淆的例子：<<是一个Token，而非两个<——因为在C++里<<是特定的输出运算符，编译器会把它识别成完整单元，不是两个单独的小于号。

总结一下：

• Token是C++代码里不可再拆分的最小有效单元
• 每个Token都有明确类型（关键字、标识符、运算符、字面量等）
• 编译器处理代码的第一步就是「分词」，把代码拆成一个个Token

内容的提问来源于stack exchange，提问作者Alicia