在Sentence Transformers中添加未训练Dense层降维是否可行？

核心结论 #

直接添加未训练的Dense层做降维可行但并非最优选择，它本质是一种随机线性变换，效果大概率不如PCA这类数据驱动的降维方法。

未训练Dense层的工作逻辑 #

随机初始化的Dense层本质是对768维向量做随机线性投影：

• 当输出维度（256/128）远小于输入维度时，高维空间的随机矩阵近似满足正交性，原始向量间的余弦相似度相对关系不会被完全破坏，因此仍能完成基本的相似匹配任务。
• 但这种压缩是无差别的随机操作，没有利用数据本身的分布特征，会丢失部分对相似度计算关键的信息，匹配精度会有不可控的下降。

与PCA方案的对比 #

• PCA：基于预处理的1万条句子的协方差矩阵，提取方差最大的主成分，是数据驱动的最优线性降维方式，能在最小化信息损失的前提下降低维度，无需微调，仅用现有数据即可拟合。
• 未训练Dense层：完全依赖随机权重，未利用数据分布，信息损失不可控，唯一优势是可将降维逻辑与原模型打包为整体，部署时无需额外维护独立的降维转换步骤。

无标注数据下的更优替代方案 #

1. 用PCA实现降维

   from sklearn.decomposition import PCA
   import numpy as np
   
   # 用预处理的1万条句子拟合PCA
   embeddings_768 = np.array([base_model.encode(sent) for sent in preprocessed_sentences])
   pca = PCA(n_components=256)
   pca.fit(embeddings_768)
   
   # 部署时的嵌入生成逻辑
   def get_embedding(sentence):
       vec_768 = base_model.encode(sentence)
       return pca.transform(vec_768.reshape(1, -1))[0]
   

2. 选用轻量级预训练模型
   直接选择输出维度本身为256/128的预训练Sentence Transformer模型（如部分MiniLM系列变体），这类模型经过完整训练，嵌入质量远高于随机投影的结果，且无需额外降维操作。

3. 用PCA权重初始化Dense层
   如果需要将降维逻辑嵌入模型结构，可先用PCA拟合得到主成分矩阵，将其作为Dense层的初始化权重，这样既保留了模型一体化的部署优势，又具备数据驱动的降维效果。

内容的提问来源于stack exchange，提问作者Alaa M.