关于Word2Vec Skip-Gram的两个技术疑问：负采样与上下文权重

疑问1：Negative Sampling中同一上下文词标签不同、目标词被用作负采样是否合理？ #

• 同一上下文词标注不同标签：完全合理。在Skip-Gram+Negative Sampling的训练逻辑中，每个**(目标词, 上下文词)**对都是独立的训练样本。比如示例句里，当目标词是road时，shimmered属于其上下文窗口，对应正标签（1）；但当目标词换成wide时，shimmered不在它的上下文窗口内，若被选为该样本的负例，标签就是0。同一个词在不同样本中的角色由它和当前目标词的上下文关系决定，标签自然不同，这是正常的训练逻辑。
• 目标词被用于负采样：合理。负采样的核心是从词汇表中随机选取非当前正样本上下文词的词作为负例。如果某个目标词（比如road）被抽到作为其他正样本（比如(shimmered, in)）的负例，只要它不是该正样本的上下文词，就符合规则。即使极端情况抽到目标词自身（概率极低），模型也能通过训练区分这种无意义的配对，不会对整体效果造成严重影响，属于可接受的实现细节。

疑问2：Skip-Gram是否需要对邻近上下文词赋予更高权重？ #

基础版本的Skip-Gram（即Mikolov原论文中的标准实现）不对上下文词的位置加权——上下文窗口内的每个词和目标词的配对权重一致。而你提到的“邻近词更高权重”是Skip-Gram的一种改进变体（加权Skip-Gram），常见的实现方式包括：给距离目标词更近的词分配更高的损失权重，或者通过重复采样近邻词来模拟加权效果。

该教程实现的是基础版Skip-Gram，因此没有体现权重机制，这是符合标准实现的。也就是说，Skip-Gram的正确实现分为两种：基础版（无位置权重）和加权改进版（带位置权重），具体选择取决于训练需求。

内容的提问来源于stack exchange，提问作者Donnie