关于Word2Vec向量表示与神经网络训练机制的技术疑问

问题1：Word2Vec向量维度的具体指代与数值含义 #

• Word2Vec输出的向量维度是模型训练时自动学习的抽象语义特征维度，没有明确的字面定义。100维的向量里，每个数值都对应一个隐性的语义属性，但不会和“是否是名词”“是否表情感”这类显性概念一一绑定。
• 这些维度的核心作用是通过向量空间的距离（比如余弦相似度）来衡量词与词的语义关联——两个词的向量越接近，说明它们在训练语料中的上下文场景越相似。单个维度的数值本身没有实际解释意义，是所有隐性语义特征的综合映射结果。

问题2：独热编码输入的权重分配与稀疏数据的信息传递 #

• 首先纠正一个理解偏差：Word2Vec中，输入独热向量和权重矩阵的运算，本质是直接提取权重矩阵的对应行。比如某个词的独热向量只有第i位是1，和权重矩阵相乘后，得到的就是权重矩阵的第i行——其他位置的0只会让对应权重不参与计算，并非“分配了权重却没用”。
• 初始化全量随机权重的原因是：模型需要为词汇表中所有单词分配初始的向量表示（即权重矩阵的每一行对应一个词的向量），随机值是梯度更新的初始起点，后续当某个单词作为输入参与训练时，其对应的权重行会被激活并更新。
• 针对稀疏数据的信息传递，Word2Vec通过两种优化机制解决：
  • 负采样（Negative Sampling）：每次训练只选取少量正样本（目标词）和负样本（随机词）来更新权重，不用遍历整个词汇表，既降低计算量，又让稀疏输入的梯度能精准传递到相关权重上。
  • 分层Softmax：用哈夫曼树替代全连接输出层，把输出层的计算复杂度从O(V)（V为词汇表大小）降到O(logV)，让稀疏输入的信息能更高效地传递到模型参数中。

内容的提问来源于stack exchange，提问作者Apoorva