TensorFlow Word2Vec增量训练报错：Assign要求张量形状匹配

嘿，这个问题我之前帮好几个开发者踩过坑——核心原因是你搞错了saver.restore()在Word2Vec增量训练里的工作逻辑。

你看，当你保存旧模型时，嵌入层的权重矩阵形状是[旧词汇表大小, 嵌入维度]（也就是这里的[71291,200]），但新数据的词汇表只有28908个词，新模型初始化的嵌入矩阵变成了[28908,200]。saver.restore()会尝试把旧模型的大矩阵直接赋值给新模型的小矩阵，形状完全不匹配，自然就抛出InvalidArgumentError了。

下面给你两个可行的解决方案，按需选择：

方案一：统一词汇表（推荐） #

增量训练的核心前提是词汇表要兼容，最好的做法是把新旧数据的词汇表合并，保留所有旧词汇+新增的新词汇，让嵌入矩阵只增不减：

• 第一步：找到你之前保存旧模型时对应的词汇表（比如vocab.pkl或者文本格式的词汇表文件），加载成字典（词→索引）
• 第二步：用这个旧词汇表去处理新数据，遇到不在旧词汇表中的词，要么直接过滤，要么把它添加到旧词汇表的末尾，更新词汇表大小
• 第三步：重新初始化嵌入矩阵，形状设为[合并后词汇表大小, 200]，然后用saver.restore()加载旧模型的嵌入权重，最后对新增词汇对应的嵌入向量做随机初始化
  这样既复用了旧模型已经训练好的权重，又能兼容新数据的词汇，完全符合增量训练的初衷。

方案二：手动加载重叠词汇的权重 #

如果你确实不需要旧词汇表的全部内容，只想复用新词汇表和旧词汇表重叠部分的权重，可以放弃saver.restore()的自动赋值，手动处理权重迁移：

1. 先创建新模型的嵌入矩阵（形状[28908,200]），用随机值初始化
2. 从旧模型中加载完整的嵌入权重矩阵（形状[71291,200]）
3. 遍历新词汇表的每个词，找到它在旧词汇表中的索引，如果存在，就把旧矩阵中对应位置的向量复制到新矩阵的对应位置；不存在的词就保留随机初始化的向量
4. 完成赋值后再继续训练新模型

给你一段参考代码：

# 假设old_vocab是旧词汇表字典（词→索引），new_vocab是新词汇表字典
import tensorflow as tf

# 从旧模型加载嵌入权重
old_embedding_weights = tf.train.load_variable("/path/to/old/model", "embeddings")

# 初始化新的嵌入变量
new_embedding = tf.Variable(tf.random.normal([len(new_vocab), 200]), name="embeddings")

# 构建赋值操作列表
assign_ops = []
for new_word, new_idx in new_vocab.items():
    if new_word in old_vocab:
        old_idx = old_vocab[new_word]
        assign_ops.append(tf.assign(new_embedding[new_idx], old_embedding_weights[old_idx]))

# 执行赋值并开始训练
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    sess.run(assign_ops)
    # 这里写你的训练逻辑

最后提醒一句：尽量不要让嵌入矩阵的形状缩小，因为这意味着你要丢弃旧模型中大部分已训练的有效信息，完全违背了增量训练“站在巨人肩膀上”的目的。

内容的提问来源于stack exchange，提问作者Kubra