已用Gensim训练Word2Vec模型，如何将推特数据集转为向量？

针对推特这类短文本，常用的句子向量转换方法各有优劣，以下是最实用的几种方案及具体实现：

一、最佳方法选择 #

1. 词向量平均法：
   简单高效，对短文本噪声有较好鲁棒性，是处理推特数据的首选基础方案。缺点是忽略词序和词汇语义权重。
2. 加权词向量平均法：
   在平均法基础上引入TF-IDF权重，给核心词汇更高权重，能更好捕捉文本关键信息，适合需要突出重点内容的场景。
3. Doc2Vec（Paragraph Vector）：
   可直接学习句子级向量，保留更多上下文与词序信息，但需要额外训练，适合有充足计算资源的场景。

二、Gensim实现步骤 #

1. 词向量平均法 #

假设你已训练并保存了Word2Vec模型，先加载模型：

from gensim.models import Word2Vec
import numpy as np

# 加载预训练的Word2Vec模型
model = Word2Vec.load("your_trained_model.model")

定义转换函数（需匹配你的文本预处理逻辑，比如分词、去停用词等）：

def get_avg_sentence_vector(sentence, model, vec_size=100):
    # 文本预处理示例：小写、分词
    words = sentence.lower().split()
    # 筛选模型词汇表中存在的词向量
    valid_vectors = [model.wv[word] for word in words if word in model.wv]
    
    if not valid_vectors:
        # 无有效词时返回零向量
        return np.zeros(vec_size)
    
    # 计算平均向量
    return np.mean(valid_vectors, axis=0)

使用示例：

# 单条推特转换
sample_tweet = "Just tried the new vegan burger, it's amazing! 🍔"
sentence_vec = get_avg_sentence_vector(sample_tweet, model, vec_size=100)
print(sentence_vec.shape)  # 输出 (100,)

2. 加权词向量平均法（TF-IDF权重） #

先计算数据集的TF-IDF权重：

from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd

# 加载推特数据集（假设存储在csv的text列）
tweets_df = pd.read_csv("your_tweets_dataset.csv")
corpus = tweets_df["text"].tolist()

# 初始化TF-IDF向量器，分词逻辑需与Word2Vec一致
tfidf = TfidfVectorizer(tokenizer=lambda x: x.lower().split())
tfidf_matrix = tfidf.fit_transform(corpus)
vocab_map = tfidf.vocabulary_  # 词汇到TF-IDF矩阵索引的映射

定义加权平均函数：

def get_weighted_avg_vector(sentence, model, vocab_map, tfidf_matrix, doc_index, vec_size=100):
    words = sentence.lower().split()
    weighted_vecs = []
    weights = []
    
    for word in words:
        if word in model.wv and word in vocab_map:
            # 获取当前文档中该词的TF-IDF权重
            weight = tfidf_matrix[doc_index, vocab_map[word]]
            weighted_vecs.append(model.wv[word] * weight)
            weights.append(weight)
    
    if not weighted_vecs:
        return np.zeros(vec_size)
    
    # 计算加权平均
    return np.sum(weighted_vecs, axis=0) / np.sum(weights)

使用示例：

# 处理第5条推特
doc_idx = 5
target_tweet = tweets_df["text"][doc_idx]
weighted_vec = get_weighted_avg_vector(target_tweet, model, vocab_map, tfidf_matrix, doc_idx, vec_size=100)

3. Doc2Vec扩展实现 #

若需要更精准的句子向量，可基于Word2Vec扩展训练Doc2Vec：

from gensim.models.doc2vec import Doc2Vec, TaggedDocument

# 将推特数据转换为TaggedDocument格式
tagged_docs = [TaggedDocument(words=text.lower().split(), tags=[str(i)]) for i, text in enumerate(corpus)]

# 初始化Doc2Vec模型，可复用Word2Vec的词向量权重
doc2vec_model = Doc2Vec(
    vector_size=100,
    min_count=1,
    epochs=20,
    dm=1  # dm=1表示使用分布式内存模型，更适合短文本
)
doc2vec_model.build_vocab(tagged_docs)

# 可选：加载预训练Word2Vec的词向量初始化
# doc2vec_model.wv.vectors = model.wv.vectors.copy()

# 训练模型
doc2vec_model.train(tagged_docs, total_examples=doc2vec_model.corpus_count, epochs=doc2vec_model.epochs)

# 推断单条推特的向量
sample_vector = doc2vec_model.infer_vector(sample_tweet.lower().split())

内容的提问来源于stack exchange，提问作者user12383896