为何C语言中字符串被视为Token而数组却不属于Token？

首先得明确：Token是编译器能识别的最小有意义单元——也就是说，它没法再拆成更小的、还能单独表达语义的部分了。

为什么字符串是Token？ #

字符串字面量（比如"hello world"）是一个完整的不可拆分的单元。编译器看到一对双引号包裹的内容时，会直接把它当作一个整体处理——单独的双引号、里面的单个字符都没有独立的语义，只有组合成"..."这样的形式，才代表一个字符串常量，符合Token“最小有意义”的定义，所以它被归为Token的一类。

为什么数组不是Token？ #

数组是由多个Token组合而成的复合语法结构，不是最小单元。举个例子：

int my_arr[10];

这里面的int（关键字Token）、my_arr（标识符Token）、[（特殊符号Token）、10（常量Token）、]（特殊符号Token）、;（特殊符号Token）都是独立的Token。编译器先逐个识别这些Token，再按照C语言的语法规则，把它们组合成“数组定义”这个结构。数组本身是这些Token的组合体，不是最小的有意义单元，所以不属于Token范畴。

简单说：Token是“积木块”，数组是用积木块搭出来的“房子”——积木块是最小单元，房子是组合后的结构。

内容的提问来源于stack exchange，提问作者Keshav Saraf