BERT输出的CLS Token浮点数组的元素取值范围是多少

首先明确：不存在适用于所有BERT实现的统一固定取值范围，你拿到的CLS向量值域完全取决于你取的是模型哪一步的输出，对应两种最常见的情况：

• 原始论文默认的分类用CLS向量（带Pooler层）
  原版BERT的实现逻辑里，Transformer最后一层输出的CLS位置隐状态不会直接传给分类头，会先经过一层单独的Pooler变换：一层768→768的全连接层后接tanh激活。
  这种场景下CLS向量每个元素的理论取值范围是严格的(-1, 1)，因为tanh本身的输出上下界就是-1和1，实际训练收敛的模型里，由于tanh饱和区梯度消失，元素值基本都落在-0.9~0.9的区间内，极少出现无限贴近±1的情况。
• 跳过Pooler层直接取的CLS隐状态
  现在大量微调实践会直接弃用原版的Pooler层，把Transformer最后一层输出的CLS位置隐状态直接喂给分类头，这时候的CLS向量没有理论上的硬上下界。
  原因很简单：Transformer内部的自注意力是线性加权求和操作，前馈网络用的GELU激活本身是无界函数（正区间输入输出线性增长，负区间输出趋近于0），搭配的线性层也没有值域截断，所以元素值理论上可以是任意浮点数。从实际预训练完成的BERT-base模型统计结果看，这类隐状态的元素值基本都落在[-10, 10]区间，极端值很少超过±20，这个是经验统计范围，不是强制约束。

常见误区：不要默认所有CLS输出都在-1到1之间，这个结论只对带tanh激活的Pooler输出生效，如果你用的开源代码默认关闭Pooler输出，直接拿最后一层隐状态用，强行按-1到1的范围做归一化或者截断会直接影响下游任务效果。

内容的提问来源于stack exchange，提问作者s.blnc