关于word2vec中Skip-Gram模型输出层权重共享的疑问

关于word2vec中共享输出权重与输出差异的解析 #

你的理解验证 #

• 你对论文中「panel是虚拟概念」的判断是准确的，源码里确实没有单独的“输出层”或“panel”模块。
• 代码中针对窗口内词计算neu1e并更新syn0的逻辑，确实对应hierarchical softmax公式的第二部分梯度更新环节。论文里的“hidden->output共享矩阵”，对应源码中的syn1参数（哈夫曼树的非叶子节点权重），你可能之前没重点关注这个参数。

核心疑问解答：同一输入词为何输出有差异 #

原因在于hierarchical softmax的路径计算逻辑：

• 每个目标词对应哈夫曼树上的唯一路径，路径上的每个非叶子节点都会参与概率计算。
• 当同一输入词预测不同目标词时，会遍历哈夫曼树的不同路径，用到syn1矩阵中不同行的权重（每个行对应一个哈夫曼树非叶子节点）。
• 最终的输出概率是路径上所有节点计算结果的乘积，不同路径对应不同的节点组合，所以即便输入词相同、共享同一个权重矩阵，预测不同目标词的输出结果也会完全不同。

源码逻辑补充 #

源码中，针对窗口内的每个目标词，会沿着它的哈夫曼路径逐个节点计算梯度，把梯度累积到neu1e中；之后用neu1e更新输入层的syn0，同时更新路径上的syn1节点权重。整个过程始终基于共享的syn1矩阵，但每次只用到矩阵中与当前目标词路径匹配的部分权重。

内容的提问来源于stack exchange，提问作者Damir Tenishev