多条件Word2Vec模型查询结果如何批量保存至CSV文件？

我来帮你梳理一下这个流程的具体实现步骤，亲测好用！

1. 先定义所有实验参数组合 #

首先把你要测试的所有条件整理成参数组合列表，比如不同的向量维度、窗口大小、最小词频这些，给每个组合配个唯一的模型名，方便后续识别和保存：

# 定义所有要测试的参数组合，可根据你的实验需求扩展
param_combinations = [
    {"vector_size": 100, "window": 5, "min_count": 2, "model_name": "vec100_win5_min2"},
    {"vector_size": 200, "window": 5, "min_count": 2, "model_name": "vec200_win5_min2"},
    {"vector_size": 100, "window": 10, "min_count": 3, "model_name": "vec100_win10_min3"},
    # 继续添加更多参数组合...
]

2. 循环训练并保存每个模型 #

遍历参数组合，逐个训练模型并保存到本地，记得先创建模型存储文件夹：

from gensim.models import Word2Vec
import os

# 创建模型存储目录（不存在则自动创建）
model_save_dir = "word2vec_experiments"
os.makedirs(model_save_dir, exist_ok=True)

# 假设你的语料已经预处理完成，是分词后的句子列表
processed_corpus = [["我", "爱", "自然语言处理"], ["Word2Vec", "是", "经典", "词向量模型"], ...]

# 循环训练每个参数对应的模型
for params in param_combinations:
    # 初始化并训练模型
    model = Word2Vec(
        sentences=processed_corpus,
        vector_size=params["vector_size"],
        window=params["window"],
        min_count=params["min_count"],
        workers=4  # 根据CPU核心数调整，加快训练速度
    )
    # 保存模型到指定路径
    model_path = os.path.join(model_save_dir, f"{params['model_name']}.model")
    model.save(model_path)
    print(f"模型 {params['model_name']} 已成功保存至 {model_path}")

3. 加载模型执行查询并收集结果 #

接下来针对每个保存的模型，执行你需要的查询（比如找相似词），把参数、查询词、结果、相似度都记录下来：

import pandas as pd

# 定义你要查询的目标词列表
target_query_words = ["自然语言处理", "模型", "训练"]

# 用于存储所有结果的列表
all_results = []

# 遍历每个参数组合加载模型并查询
for params in param_combinations:
    model_path = os.path.join(model_save_dir, f"{params['model_name']}.model")
    # 加载已保存的模型
    trained_model = Word2Vec.load(model_path)
    
    # 对每个查询词执行相似查询
    for query_word in target_query_words:
        # 先检查查询词是否在模型词汇表中，避免报错
        if query_word in trained_model.wv.key_to_index:
            # 获取前5个最相似的词（topn可按需调整）
            similar_items = trained_model.wv.most_similar(query_word, topn=5)
            # 把每个相似结果拆分成独立条目存入列表
            for sim_word, sim_score in similar_items:
                all_results.append({
                    "模型名称": params["model_name"],
                    "向量维度": params["vector_size"],
                    "窗口大小": params["window"],
                    "最小词频": params["min_count"],
                    "查询词": query_word,
                    "相似词": sim_word,
                    "相似度": round(sim_score, 4)
                })
        else:
            # 如果查询词不在词汇表中，标记空结果
            all_results.append({
                "模型名称": params["model_name"],
                "向量维度": params["vector_size"],
                "窗口大小": params["window"],
                "最小词频": params["min_count"],
                "查询词": query_word,
                "相似词": None,
                "相似度": None
            })

4. 把所有结果导出到CSV #

最后用pandas把结果转换成DataFrame，导出成CSV文件，方便后续分析：

# 转换为DataFrame格式
results_df = pd.DataFrame(all_results)

# 保存到CSV，utf-8-sig确保中文在Excel中正常显示
csv_save_path = "word2vec_query_results.csv"
results_df.to_csv(csv_save_path, index=False, encoding="utf-8-sig")
print(f"所有查询结果已导出至 {csv_save_path}")

一些实用小提示 #

• 如果你只需要使用词向量，不用加载整个模型，可以用from gensim.models import KeyedVectors，然后用KeyedVectors.load(model_path)加载，更节省内存。
• 可以给代码加上try-except块，处理训练或查询时的异常情况，避免程序中断。
• 语料的预处理（分词、去停用词、清洗噪声）直接影响模型效果，这一步一定要做扎实哦！

内容的提问来源于stack exchange，提问作者profhoff