测试时如何选用BERT的上下文嵌入？关于convert_to_id()的困惑

• convert_to_id()的核心作用只是做词汇映射
  这个函数只是把输入的词（或子词）转换成预训练BERT词汇表中对应的唯一ID，这个ID关联的是模型预训练时的静态初始词嵌入——也就是脱离语境的通用嵌入，并不是最终的上下文嵌入。同一个多义词（比如bank）不管在什么语境下，都会被转成同一个ID，这是正常的，因为初始嵌入本身不包含语境信息。

• 上下文嵌入是模型动态计算出来的，不是提前“选用”的
  BERT的核心是Transformer自注意力机制，当你把整个测试语句的token ID序列输入模型后：

  1. 模型先把每个ID转换成对应的静态初始嵌入；
  2. 然后每一层Transformer都会让每个token的嵌入和句子中其他所有token的嵌入做交互——比如“bank”在“river bank”里会重点关注“river”的信息，在“bank account”里会重点关注“account”的信息；
  3. 经过多层迭代后，每个token都会生成和当前语境完全匹配的上下文嵌入。

• 测试阶段不需要手动指定“正确嵌入”
  加载预训练BERT后，你只需要把测试语句处理成符合要求的token ID序列（包括[CLS]、[SEP]这些特殊token）输入模型，模型会自动按照上述流程，为每个token生成适配当前语境的上下文嵌入，完全不需要你手动干预选择哪个嵌入——语境信息已经通过自注意力机制被模型自动捕捉并整合到最终的嵌入里了。

举个直观的例子：

输入语句1："The river bank is full of reeds"
输入语句2："I deposited money in the bank"
这两个句子里的“bank”都会被convert_to_id()转成同一个ID，但模型处理时，第一个句子里的“bank”会和“river”“reeds”做注意力交互，生成和“河岸”对应的嵌入；第二个句子里的“bank”会和“deposited”“money”交互，生成和“银行”对应的嵌入。

内容的提问来源于stack exchange，提问作者Veydan