如何在40核CPU环境下提升Doc2Vec模型的运行速度？

• 首先调整workers参数：你当前代码里workers仅设为5，完全没有利用40核CPU的性能，建议将该值调整到32_{38之间，预留2}8个核心给系统后台进程即可，多线程并行训练的效率会有非常明显的提升。
• 更换训练模式：你当前使用的是dm=1的分布式内存模式，该模式精度较高但训练速度偏慢，如果可以接受少量精度损失，可将参数调整为dm=0使用分布式词袋模式，训练速度可提升30%以上。
• 合理降低训练轮次：你当前设置的max_epochs=1000通常是过量的，绝大多数场景下200~500轮即可实现模型收敛，你可以根据验证集的相似度精度表现适当调低轮次，直接减少训练耗时。
• 确保安装带C扩展的gensim：纯Python实现的gensim训练速度比带C编译扩展的版本慢5~10倍，安装前确保设备上有gcc等C编译环境，再用pip安装gensim，才能发挥多线程性能。
• 优化预处理逻辑：如果你的数据集规模较大，可以把当前用的word_tokenize替换为更快的分词工具，同时避免把全部预处理完的tagged_data都加载到内存中，可通过corpus_file参数直接读取磁盘上的预处理文件，减少内存开销和IO耗时。

修改后的参考代码如下：

tagged_data = [TaggedDocument(words=word_tokenize(_d.lower()), tags=[str(i)]) for i, _d in enumerate(data)]

max_epochs = 500 # 按需调整为模型收敛的最小轮次
vec_size =50
alpha = 0.025

tic = time.perf_counter()
# 构建模型，核心调整workers参数
model = Doc2Vec(vector_size=vec_size,
                alpha=alpha, 
                min_alpha=0.0025,
                min_count=5,
                workers = 36, # 适配40核CPU的设置
                dm = 0) # 可选切换为速度更快的分布式词袋模式
  
model.build_vocab(tagged_data)

model.train(tagged_data,total_examples=model.corpus_count,epochs=max_epochs)

model.save("d2v.model")
print("Model Saved")

toc = time.perf_counter()
print(f"Time {toc - tic:0.4f} seconds")

内容的提问来源于stack exchange，提问作者krews2