BERT编码器输出字段含义问询：default等四个输出键的详细作用说明

你之前对encoder_outputs、pooled_output、sequence_output三个字段的理解基本准确，四个字段的具体含义如下：

• default：为适配TF Hub通用调用规范设计的默认输出字段，值与pooled_output完全一致，方便仅需要全局序列特征的场景直接调用模型获取结果，无需额外指定输出键。
• sequence_output：BERT最后一层Transformer编码器的逐token输出，形状为(batch_size, 序列长度, 隐藏层维度)，对应每个输入token的上下文语义表示，适用于序列标注、抽取式问答、实体识别等需要逐位置特征的下游任务。
• pooled_output：取输入序列首个<[BOS_never_used_51bce0c785ca2f68081bfa7d91973934]> token的最后一层输出，再经过一层全连接+Tanh激活映射得到的全局语义特征，形状为(batch_size, 隐藏层维度)，对应整段输入的全局语义表示，适用于文本分类、语义相似度计算等需要整句特征的下游任务。
• encoder_outputs：所有Transformer编码器层的逐token输出集合，形状为(编码器层数, batch_size, 序列长度, 隐藏层维度)，按顺序存储从第一层到最后一层编码器的全部输出，其中最后一层的输出与sequence_output完全一致，适用于模型蒸馏、多层特征融合、语义表示分层研究等场景。

内容的提问来源于stack exchange，提问作者OK 400