如何将several-hot编码转换为稠密向量？求支持自定义输入的Word2Vec代码

核心思路 #

你的需求本质是把Word2Vec的输入从单个token的one-hot扩展为多token拼接的several-hot稀疏向量，核心仍基于**跳字模型(Skip-Gram)或连续词袋模型(CBOW)**的语义学习逻辑，仅需替换输入层的向量来源。

可行实现方案 #

1. 基于PyTorch手动实现轻量版 #

直接构建Word2Vec核心逻辑，将输入替换为自定义的several-hot向量，示例代码：

import torch
import torch.nn as nn
import torch.optim as optim

class CustomWord2Vec(nn.Module):
    def __init__(self, input_dim, embedding_dim):
        super().__init__()
        # 输入层到稠密嵌入层的权重矩阵
        self.embedding = nn.Linear(input_dim, embedding_dim, bias=False)
        # 嵌入层到输出层的权重（用于负采样损失计算）
        self.output = nn.Linear(embedding_dim, input_dim, bias=False)
    
    def forward(self, x):
        # x为several-hot稀疏向量，shape: (batch_size, input_dim)
        dense_emb = self.embedding(x)  # 得到稠密嵌入，shape: (batch_size, embedding_dim)
        logits = self.output(dense_emb)  # 输出预测结果
        return dense_emb, logits

# 训练示例
input_dim = 1000  # several-hot向量的维度
embedding_dim = 128
model = CustomWord2Vec(input_dim, embedding_dim)
optimizer = optim.Adam(model.parameters(), lr=0.001)
loss_fn = nn.CrossEntropyLoss()

# 假设dataloader返回(several-hot输入批量, 目标token索引批量)
for batch_input, batch_target in dataloader:
    optimizer.zero_grad()
    _, logits = model(batch_input)
    loss = loss_fn(logits, batch_target)
    loss.backward()
    optimizer.step()

# 获取输入对应的稠密嵌入
sample_embedding = model.embedding(sample_several_hot)

2. 修改Gensim Word2Vec源码适配 #

Gensim的Word2Vec默认处理token，但可修改输入逻辑适配需求：

• 找到word2vec.py中_do_train_job()或train()方法里，将token转换为one-hot的代码段
• 替换为你预先处理好的several-hot向量矩阵
• 调整嵌入层的输入维度为several-hot的维度，保留后续Skip-Gram/CBOW的核心逻辑

3. 基于FastText的自定义输入扩展 #

FastText原生支持子词拼接输入，和你的several-hot逻辑高度匹配：

• 直接将你的several-hot向量作为输入特征传入FastText训练
• 官方或第三方开源的FastText实现（如Facebook官方版）均支持自定义输入特征矩阵，无需大幅修改核心代码

关键注意事项 #

• 稀疏优化：用Scipy的csr_matrix存储several-hot向量，减少内存占用
• 负采样保留：沿用Word2Vec的负采样策略，确保模型学习到语义关联
• 初始化加速：用预训练Word2Vec嵌入矩阵初始化模型权重，加快收敛

内容的提问来源于stack exchange，提问作者landings