如何通过Gensim加载.tar格式的预训练Word2Vec模型？

首先明确：你下载的deu-ch_web-public_2019_1M.tar.gz不是预训练好的Word2Vec模型（.bin/.vec格式那种），而是德语原始文本语料库——莱比锡大学的这类资源是用来训练模型的原材料，不是现成的权重文件，所以你之前用KeyedVectors.load_word2vec_format或Word2Vec.load肯定会报错。

下面是只用Gensim处理的完整流程：

1. 解压语料包 #

先把压缩包解压，得到里面的5个.txt文件，这些都是纯文本的德语语料（包含句子、词汇统计等内容）。

2. 预处理语料 #

用Gensim自带的工具完成基础分词（如果需要更精准的德语分词，可额外搭配nltk，但这里严格只用Gensim）：

from gensim.utils import simple_preprocess

# 读取单份语料文件，返回分词后的句子迭代器
def process_file(file_path):
    with open(file_path, encoding="utf-8") as f:
        for line in f:
            # 跳过空行和注释行
            if line.strip() and not line.startswith("#"):
                yield simple_preprocess(line, deacc=True)

3. 训练Word2Vec模型 #

用Gensim的Word2Vec类直接基于预处理后的语料训练模型：

from gensim.models import Word2Vec
import os

# 替换成你的语料文件夹路径
corpus_dir = "deu-ch_web-public_2019_1M"
# 收集所有txt文件路径
corpus_files = [os.path.join(corpus_dir, f) for f in os.listdir(corpus_dir) if f.endswith(".txt")]

# 合并所有语料的分词结果
all_sentences = []
for file in corpus_files:
    all_sentences.extend(process_file(file))

# 训练模型
model = Word2Vec(
    sentences=all_sentences,
    vector_size=100,  # 词向量维度，可按需调整
    window=5,         # 上下文窗口大小
    min_count=5,      # 忽略出现次数少于5的低频词
    workers=4         # 多线程加速训练
)

# 保存训练好的模型，后续可直接加载
model.save("german_web_word2vec.model")

# 加载已保存的模型
loaded_model = Word2Vec.load("german_web_word2vec.model")
# 示例：查看某个词的向量
print(loaded_model.wv["Schweiz"])
# 示例：找相似词
print(loaded_model.wv.most_similar("Deutsch"))

补充：如果想要现成的预训练德语模型 #

如果你不想自己训练，想用Gensim直接加载预训练模型，可以用Gensim的下载工具查看可用选项：

import gensim.downloader as api
# 打印所有可用模型
print(api.info()["models"].keys())
# 比如加载支持德语的预训练模型（需确认列表中存在）
# pretrained_model = api.load("glove-wiki-gigaword-de-300")

内容的提问来源于stack exchange，提问作者Simone