BERT上层Bi-LSTM代码中拼接首尾token的原因及内容解析

这段代码是在Bi-LSTM+BERT的结构中，提取特定位置的LSTM状态拼接成序列全局表示，选择这两个位置的核心原因是它们各自承载了整个序列的单向全局上下文信息：

• lstm_output[:,-1,:256]：原序列最后一个token的正向LSTM状态
  正向LSTM从左到右遍历序列，每一步的状态都会累积之前所有token的语义信息。到序列最后一个token时，这个状态已经整合了从开头到结尾的全部上下文，是对序列左到右语义的全局总结。

• lstm_output[:,0,256:]：原序列第一个token的反向LSTM状态
  反向LSTM是从右到左遍历序列，且输出会按原序列位置排列。原序列第一个位置的反向状态，是反向LSTM遍历完整个序列后得到的结果——它已经整合了从结尾到开头的全部上下文，是对序列右到左语义的全局总结。

为什么不选其他位置？ #

序列中间位置的LSTM状态只能覆盖局部上下文（比如中间token的正向状态只包含开头到该位置的信息，反向状态只包含该位置到结尾的信息），无法像这两个状态一样完整覆盖整个序列的单向全局语义。拼接这两个状态，就能得到同时包含左到右、右到左全局信息的序列表示，非常适合序列分类这类需要全局语义支撑的任务。

内容的提问来源于stack exchange，提问作者Karthik