如何让Doc2Vec稳定适配UMAP？解决偶发维度不匹配报错问题

我编写了如下代码用于构建Doc2Vec模型并运行UMAP，但UMAP的最后一行代码有时会抛出“Cannot assign slice from input of different size”错误。我可以尝试指定随机起始种子来适配当前文档输入，但希望优化模型代码，使其能处理任意相似的不同文档数据，无需手动寻找有效起始种子即可稳定运行。请问Doc2Vec模型中哪些特性导致其有时无法与UMAP兼容？我该如何优化？

代码如下：

train_corpus = [gensim.models.doc2vec.TaggedDocument([word for word in agg_corpus_dict[i]['doc'] if word is not None], [str(agg_corpus_dict[i]['id'])]) for i in range(len(agg_corpus_dict))]

model = gensim.models.doc2vec.Doc2Vec(vector_size=100, min_count=20, epochs=20, workers=4)

progress_per_value = 1000  
model.build_vocab(train_corpus, progress_per=progress_per_value)

model.train(train_corpus, total_examples=model.corpus_count, epochs=model.epochs)

model.make_cum_table()
model.save('<model_dir>')

# Load fitted doc2vec model
doc2vec_model = gensim.models.doc2vec.Doc2Vec.load('<model_dir>')

reducer = umap.UMAP().fit(doc2vec_model.dv.vectors)

目前我已尝试调整随机起始种子，但未从根本解决问题。

原因分析 #

• 无效文档生成异常向量：尽管设置了min_count=20过滤低频词，但仍可能存在有效词数为0的文档，这类文档生成的向量可能是全0或NaN值，UMAP处理时会触发维度不匹配错误。
• 多线程训练的向量随机性偏差：Doc2Vec启用多线程训练时，若数据分布不均，可能导致部分文档向量的生成存在隐性维度异常（个别向量长度与设定的vector_size不符），被UMAP检测后抛出尺寸错误。
• 多余操作破坏模型结构：手动调用make_cum_table()属于不必要操作，该方法用于负采样的概率表构建，训练后调用可能意外修改模型内部的向量存储结构，导致加载后的dv.vectors出现尺寸异常。

优化方案 #

1. 预处理过滤无效文档
   在构建训练语料前，先过滤掉有效词数为0的文档，避免生成无效向量：

train_corpus = []
for i in range(len(agg_corpus_dict)):
    doc_words = [word for word in agg_corpus_dict[i]['doc'] if word is not None]
    # 确保文档有有效词汇
    if len(doc_words) >= 1:
        train_corpus.append(gensim.models.doc2vec.TaggedDocument(doc_words, [str(agg_corpus_dict[i]['id'])]))

2. 移除不必要的make_cum_table()调用
   训练完成后无需手动调用该方法，Doc2Vec会在需要时自动维护负采样概率表，手动调用可能破坏模型结构：

# 移除该行代码：model.make_cum_table()
model.save('<model_dir>')

3. 验证文档向量有效性
   加载模型后先检查向量的维度和数值合法性，过滤异常向量后再传入UMAP：

import numpy as np

doc2vec_model = gensim.models.doc2vec.Doc2Vec.load('<model_dir>')
# 过滤含NaN/Inf的向量，确保维度统一
valid_mask = ~np.isnan(doc2vec_model.dv.vectors).any(axis=1)
valid_vectors = doc2vec_model.dv.vectors[valid_mask]
# 执行UMAP降维
reducer = umap.UMAP().fit(valid_vectors)

4. 固定Doc2Vec随机种子
   为Doc2Vec设置固定随机种子，避免多线程训练带来的向量随机性，保证每次训练生成的向量一致：

model = gensim.models.doc2vec.Doc2Vec(
    vector_size=100, 
    min_count=20, 
    epochs=20, 
    workers=4,
    seed=42  # 固定随机种子
)

内容的提问来源于stack exchange，提问作者revitev