BERT词嵌入是否随语境动态变化？预训练后应用问询

• 核心结论：BERT的词嵌入是语境依赖的动态嵌入，不是固定不变的静态值。
• 具体细节：
  • 拿"bank"举例，在"河边长着树"和"我在银行存了钱"这两个句子里，BERT输出的"bank"嵌入向量完全不一样。这是因为BERT靠自注意力机制，会结合整个句子的上下文信息来计算每个词的最终表示，不是直接用预训练时的初始嵌入就完事。
  • 预训练阶段确实有一套固定的初始词嵌入，但那只是输入层的基础值，经过BERT多层的注意力和网络计算后，输出的是融合了语境的动态结果。
• 实际操作要求：
  • 没法提前把词典里所有单词的嵌入都提取出来做成静态键值对检索，必须把完整的输入句子先传给BERT，等模型算出结合了语境的动态嵌入后，再把这些嵌入送到你自己的模型里用。
• 本质逻辑：
  • 模型训练完后，模型的权重是固定的，但每个词的最终嵌入是用固定权重结合输入句子的上下文动态算出来的，不是预先存好的静态值。

内容的提问来源于stack exchange，提问作者Daniel von Eschwege