如何将BERT生成的embedding向量与其他数值特征融合用于文本分类

直接拼接的可行性 #

直接将level、sub-level两个数值特征拼接到BERT生成的句向量末尾是完全可行的，但需要注意适配你当前使用的KNN模型的特性：
KNN的预测依赖特征空间的距离计算，如果数值特征的量级和BERT句向量的数值范围差异过大，会导致距离计算被量级更大的特征主导，完全掩盖BERT语义特征的作用。所以在拼接完成后，必须对全部特征维度做统一的标准化或归一化处理，比如用StandardScaler将所有维度缩放到均值为0、方差为1的区间，保证不同类型特征对预测的贡献均衡。

更优的处理方式 #

如果想要获得更好的分类效果，可以根据你的算力和数据量选择以下方案：

• 加权拼接：如果已经确认两个辅助数值特征和分类标签的相关性更高，可以在特征拼接完成后，给这两个维度手动设置可调权重，在验证集上调参找到最优权重值，放大有效特征的贡献。
• 更换分类器为轻量MLP：将KNN替换为2-3层的小型全连接网络，不需要手动调整特征权重，模型会自动学习BERT语义特征和数值特征之间的非线性交互关系，适配性和效果通常都会优于KNN，特征预处理的要求也更低。
• 数值特征预嵌入：如果你的level和sub-level本身具备层级语义（比如是人工标注的情感强度分级），可以先给两个特征单独做嵌入映射，将其转为和BERT句向量维度匹配的小向量后再做拼接，能更好的挖掘数值特征本身的语义信息，进一步提升分类效果。

# 数据示例参考
Sentence embeddings_BERT level sub-level label
je mange  [0.21, 0.56]    2     2.1      pos
il hait   [0.25, 0.39]   3     3.1      neg
.....

内容的提问来源于stack exchange，提问作者emma