基于Gensim 4微调预训练Word2Vec模型的技术问题咨询

问题描述 #

我是Gensim的新手，尤其不熟悉Gensim 4。本地保存了一个二进制格式的预训练Word2Vec模型，想在新数据上微调，但遇到两个问题：

1. 如何合并预训练模型与新数据的词汇表？
2. 当前的微调方法是否正确？

目前代码执行后，最终的labels和vectors仅包含新词汇，未合并新旧词汇。

当前代码 #

微调部分

# path to pretrained model
pretrained_path = '../models/german.model'

# new data
sentences = df.stem_token_wo_sw.to_list() # Pandas column containing text data

# Create new model
w2v_de = Word2Vec(
    min_count = min_count,
    vector_size = vector_size,
    window = window,
    workers = workers,
)

# Build vocab
w2v_de.build_vocab(sentences)

# Extract number of examples
total_examples = w2v_de.corpus_count

# Load pretrained model
model = KeyedVectors.load_word2vec_format(pretrained_path, binary=True)

# Add previous words from pretrained model
w2v_de.build_vocab([list(model.key_to_index.keys())], update=True)

# Train model
w2v_de.train(sentences, total_examples=total_examples, epochs=2)

# create array of vectors
vectors = np.asarray(w2v_de.wv.vectors)
# create array of labels
labels = np.asarray(w2v_de.wv.index_to_key) 

# create dataframe of vectors for each word
w_emb = pd.DataFrame(
    index = labels,
    columns = [f'X{n}' for n in range(1, vectors.shape[1] + 1)],
    data = vectors,
)

PCA可视化部分

# create pipeline
pipeline = Pipeline(
    steps = [
        # ('scaler', StandardScaler()),
        ('pca', PCA(n_components=2)),
    ]
)

# fit pipeline
pipeline.fit(w_emb)

# Transform vectors
vectors_transformed = pipeline.transform(w_emb)

w_emb_transformed = (
    pd.DataFrame(
        index = labels,
        columns = ['PC1', 'PC2'],
        data = vectors_transformed,
    )
)

问题解决 #

1. 合并预训练模型与新数据词汇表 #

你当前的核心问题是：仅通过build_vocab([list(model.key_to_index.keys())], update=True)添加预训练词表，但未加载对应的预训练向量，且min_count参数会过滤掉新数据中出现次数低于阈值的预训练词汇。

正确操作方式

方式一：保留预训练与新数据的重叠词汇+新数据词汇

适用于只需要预训练中与新数据相关的词汇，步骤如下：

# 加载预训练向量
pretrained_vectors = KeyedVectors.load_word2vec_format(pretrained_path, binary=True)

# 先构建新数据的词汇表
w2v_de.build_vocab(sentences)

# 导入预训练向量，lockf=1.0表示允许预训练向量在后续训练中被微调
w2v_de.wv.intersect_word2vec_format(pretrained_path, binary=True, lockf=1.0)

方式二：保留全部预训练词汇+新数据词汇

如果需要保留预训练模型中的所有词汇（即使在新数据中未出现），调整词汇表构建顺序：

# 先构建预训练词表，min_count=1确保所有预训练词都被保留
w2v_de.build_vocab(pretrained_vectors.key_to_index.keys(), min_count=1)

# 更新词汇表，加入新数据的词汇
w2v_de.build_vocab(sentences, update=True)

# 导入预训练向量
w2v_de.wv.intersect_word2vec_format(pretrained_path, binary=True, lockf=1.0)

2. 微调方法修正 #

你当前的训练逻辑存在两个问题：一是epochs设置过少（仅2轮），不足以让模型充分微调；二是未正确利用预训练向量的初始化优势。

修正后的训练代码

# 获取新数据的总训练样本数（这一步你之前的操作是正确的）
total_examples = w2v_de.corpus_count

# 训练时建议设置epochs为5-10（可根据数据量调整，尽量接近预训练时的轮次）
w2v_de.train(sentences, total_examples=total_examples, epochs=5)

关键说明

• 确保预训练模型的vector_size与新模型完全一致，否则会导致导入向量失败。
• lockf=1.0允许预训练向量在训练中被更新，如果希望固定预训练向量不微调，可设置为0.0。

验证结果 #

训练完成后，通过w2v_de.wv.index_to_key查看词汇表，应该同时包含新数据词汇和预训练词汇。如果仍有缺失，检查：

• 预训练模型与新模型的vector_size是否匹配
• min_count是否设置过高，过滤了低频预训练词汇
• intersect_word2vec_format执行时是否出现报错

内容的提问来源于stack exchange，提问作者Bernardo