Sklearn向量性能优化及增量向量计算相关技术疑问

1. 添加新句子时是否必须重新计算所有旧句子的向量？ #

不一定，核心看新句子的词汇是否超出原有CountVectorizer的词汇表：

• 如果新句子的所有词汇都在已有的词汇表中，完全不用重新计算旧向量。你只需要提前把训练好的CountVectorizer实例（用pickle或joblib序列化保存，别只存向量）加载出来，用它把新句子转换成和旧向量同维度的向量，直接和磁盘里的旧向量做相似度计算即可。
• 如果新句子包含之前未收录的新词，且你需要这些新词作为特征纳入向量计算，那必须用旧数据集+新数据集重新训练CountVectorizer，此时旧向量必须重新计算——因为词汇表维度变了，旧向量的维度和新生成的向量不匹配，无法直接复用。

2. 非小规模数据集重新计算向量的开销大吗？ #

是的，开销会非常显著：

• CountVectorizer的训练和向量转换过程，时间复杂度随数据集规模线性增长，数据量越大，耗时越久，同时会占用大量内存存储词汇表和中间计算结果。
• 另外，重新计算所有向量后还要进行磁盘写入操作，IO开销也不容小觑。

如果你的数据集规模较大，更建议换用无需依赖全局词汇表的向量模型，比如预训练词嵌入（Word2Vec、GloVe）或上下文相关模型（BERT、RoBERTa）——这类模型可以单独生成新句子的向量，直接和旧向量计算相似度，完全不需要重新计算旧向量。

原有向量的复用前提 #

只有当CountVectorizer的词汇表未发生变化时，磁盘中存储的numpy数组形式的旧向量才能直接复用。所以务必记住：要保存训练好的CountVectorizer实例，而不只是保存向量文件。

内容的提问来源于stack exchange，提问作者jordynfinity