tf.feature_column中num_oov_buckets处理样本外新值的OOV桶权重分配逻辑

• 提前固化的静态ID映射规则
  调用tf.feature_column.categorical_column_with_vocabulary_list并设置num_oov_buckets=1时，框架会在特征列初始化阶段就确定所有离散值的ID对应关系：词表收录的value1、value2、value3依次绑定固定ID 0、1、2；预留的OOV桶绑定固定ID 3。这套映射关系不会在训练、推理过程中动态调整。
• 全量参数的初始化流程
  将该分类列传入tf.feature_column.embedding_column设置输出维度为2时，框架会按照总类别数（词表长度+OOV桶数=4）直接构建形状为(4, 2)的Embedding可训练参数矩阵，矩阵的每一行对应一个离散ID的向量。
  OOV桶对应的第3行向量，会和其他词表类别的行一样，在训练初始化阶段按照全局参数初始化规则（如截断正态分布、均匀分布）完成随机赋值，从训练启动开始就作为独立参数存在，不会因为训练集从未出现过对应类别而被删除，也不会延迟到推理阶段才生成。
• 训练阶段的权重更新机制
  Embedding行的参数更新完全依赖对应ID的样本是否出现在训练批次中：只有当某个样本的特征值被映射到某一行对应的ID时，这一行向量才会在反向传播阶段接收梯度、参与权重调整。
  训练集仅包含value1、value2、value3三个取值，所有训练样本的特征ID只会落在0、1、2三个位置，永远不会触发ID=3的OOV映射，因此整个训练流程中，OOV桶对应的Embedding行不会收到任何梯度，会全程保持初始化阶段的随机值，不会随训练发生更新。

这里需要纠正一个常见误解：OOV桶的设计不是在模型训练完成后，为新出现的取值临时生成向量，而是提前在参数矩阵里预留了固定位置的独立参数行。推理阶段遇到词表外的新取值时，框架会直接将所有未登录的取值统一映射到固定的OOV桶ID，读取预先存在的向量作为输出，不会针对单个新取值做临时计算、插值或者加权融合。

• 优化提示
  如果希望OOV对应的Embedding向量能适配下游任务目标，可以在训练阶段主动构造少量会被映射到OOV桶的样本，让这部分参数能接收到梯度完成更新；否则无梯度更新的随机初始化向量，对模型预测没有实际语义参考价值。

内容的提问来源于stack exchange，提问作者Khalil Mlayhi