如何使用已训练保存的word2vec模型实现文本情感分析？

你参考的示例中，Word2Vec仅承担文本向量化的特征提取作用，最终输出情感分类结果的是配套训练的BiLSTM分类层。要在训练集外的新数据上跑出准确结果，核心要求是新数据的预处理、特征转换逻辑必须和训练阶段完全对齐，否则会出现特征分布偏移，结果完全不可用。具体实现步骤如下：

1. 加载训练阶段留存的全部资产 #

不要只单独加载Word2Vec模型，训练过程中保存的以下文件缺一不可：

• 训练完成的Word2Vec模型文件
• 训练完成的BiLSTM分类模型结构与权重文件
• 训练阶段固定的预处理配置：分词规则、停用词表、文本清洗正则、序列最大长度参数、拟合完成的Tokenizer、标签与编码的映射关系

加载参考代码：

from gensim.models import Word2Vec
from tensorflow.keras.models import load_model
import tensorflow as tf
import pickle
import numpy as np

# 加载模型与配置
w2v_model = Word2Vec.load("your_trained_w2v_path.model")
bilstm_clf = load_model("your_trained_bilstm_path.h5")
with open("train_preprocess_config.pkl", "rb") as f:
    train_config = pickle.load(f)

# 从配置中读取固定参数
max_seq_len = train_config["max_seq_len"]
tokenizer = train_config["tokenizer"]
stopwords = train_config["stopwords"]
# 按需求配置标签映射：分类层输出索引 → -1(负)/0(中)/1(正)
# 注意：这里的索引顺序必须和训练时喂给模型的标签顺序完全一致，不能错位
label_map = {0: -1, 1: 0, 2: 1}

如果你训练时没有保存预处理配置，需要逐行对齐训练代码里的清洗、分词、序列化逻辑，不能随意改动规则，否则精度会大幅下降。

2. 新文本预处理逻辑100%对齐训练流程 #

所有待预测的新文本，必须和训练集走完全一致的处理流程，不能新增/删减步骤：

• 用和训练完全相同的正则规则清洗文本：去除URL、@提及、特殊字符，统一大小写
• 用和训练完全相同的分词工具切分文本（比如训练用了nltk的TweetTokenizer就不要更换其他分词器）
• 移除和训练词表一致的停用词
• 用训练阶段已经拟合好的Tokenizer把分词结果转成数字序列，不要在新数据上重新拟合Tokenizer
• 按照训练时设定的序列最大长度、补全/截断位置做序列填充

预处理参考代码：

from nltk.tokenize import TweetTokenizer
import re

tknzr = TweetTokenizer()
def clean_single_text(text):
    # 以下正则规则必须和你训练时写的完全一致
    text = re.sub(r"http\S+", "", text)
    text = re.sub(r"@\w+", "", text)
    text = re.sub(r"[^a-zA-Z0-9\s]", "", text)
    text = text.lower().strip()
    tokens = tknzr.tokenize(text)
    tokens = [t for t in tokens if t not in stopwords]
    return tokens

def preprocess_predict_data(raw_text_list):
    cleaned_tokens = [clean_single_text(t) for t in raw_text_list]
    seqs = tokenizer.texts_to_sequences(cleaned_tokens)
    # padding、truncating的位置参数必须和训练时一致（训练用post就不要改成pre）
    padded_seqs = tf.keras.preprocessing.sequence.pad_sequences(
        seqs, maxlen=max_seq_len, padding="post", truncating="post"
    )
    return padded_seqs

3. 执行推理输出情感值 #

预处理完成的序列可以直接输入BiLSTM模型得到预测概率，取最大概率对应的类别后映射到你要求的-1/0/1标签即可，不需要单独再用Word2Vec做向量转换（训练完成的BiLSTM已经包含了对齐Word2Vec权重的嵌入层）。

推理参考代码：

def get_sentiment(raw_text_list):
    input_seqs = preprocess_predict_data(raw_text_list)
    # 得到三个类别的预测概率
    pred_prob = bilstm_clf.predict(input_seqs, verbose=0)
    # 取最大概率对应的类别索引
    pred_idx = np.argmax(pred_prob, axis=1)
    # 映射为目标情感值
    pred_sentiment = [label_map[i] for i in pred_idx]
    return pred_sentiment

# 功能测试
test_samples = [
    "This show is total garbage, I wasted 2 hours watching it",
    "I had a cup of coffee this afternoon",
    "The new game update is super fun, totally love it!"
]
print(get_sentiment(test_samples)) # 预期输出: [-1, 0, 1]

常见踩坑提醒 #

• 如果你只训练了Word2Vec模型、没有用标注情感数据训练后续的分类层，是无法直接输出情感标签的——Word2Vec本身是无监督的向量化工具，不具备分类能力。
• 如果新数据和你训练用的英文推文领域差异过大（比如要预测中文电商评论、专业领域文档），直接用现有模型效果会很差，建议拿少量目标领域的标注数据对分类层做微调。
• 推理阶段绝对不要重新训练Word2Vec、不要在新数据上重新拟合Tokenizer，否则会导致特征空间和训练时完全不匹配，预测结果完全失效。

内容的提问来源于stack exchange，提问作者fishinthec