训练Word Embeddings时高频词处理的最优实践咨询

针对你遇到的高频词幂律分布问题，结合Word2Vec的核心设计和工业界落地经验，直接拆解你的三个方案并给出实操建议：

方案1：基于词频的概率采样（最优选择） #

这是原Word2Vec论文中**负采样（Negative Sampling）**的配套核心逻辑，也是目前处理该问题的标准做法，完全满足你保留高频词嵌入的需求。具体采样规则如下：

• 对每个词$w$，计算采样概率公式：
  P(w) = 1 - sqrt(t / f(w))
  其中$t$是可调超参数（通常取$1e-3$到$1e-5$），$f(w)$为该词在语料中的相对频率（词频/总词数）。
• 采样逻辑：对每个输入词，按$P(w)$的概率决定是否保留——高频词的$P(w)$值更低，被过滤的概率更高，但不会被完全丢弃，只是降低了其在训练样本中的占比。
• 优势：既缓解了幂律分布的样本不平衡，又能让模型持续学习高频词的语义嵌入，同时大幅压缩训练周期，是当前的最佳实践。

方案2：按概率丢弃高频词（不推荐，除非特殊场景） #

原论文提到的**高频词丢弃（Subsampling）**并非完全不学习高频词的嵌入，只是在生成训练样本时跳过部分高频词实例，模型仍会保留这些词的嵌入向量。但如果你的需求是保证'the'这类高频词的嵌入精度，这种方式会因训练样本减少导致嵌入质量下降，灵活性远不如方案1。

方案3：保留所有样本（仅小语料适用） #

如果你的语料规模极小（百万词级以下），可以考虑保留所有样本——高频词的重复训练反而能提升模型稳定性。但如果是千万词级以上的大规模语料，这种方式会让训练时间线性增长，且模型容易过度拟合高频词的局部特征，忽略低频词的语义信息，性价比极低，不推荐。

额外补充的工程技巧 #

• 调整负样本数量：针对高频词，适当增加负样本数量，帮助模型更精准地区分高频词的语义边界；
• 动态调整采样阈值：训练初期用较高的$t$值（如$1e-3$）快速过滤极端高频词，后期降低$t$值（如$1e-5$），让模型精细打磨高频词的嵌入；
• 词频分层采样：将词按频率分为高、中、低三层，对高频层用更严格的采样规则，中层正常采样，低层不采样甚至做过采样，进一步平衡样本分布。

内容的提问来源于stack exchange，提问作者Seth