关于Spark MLlib Word2Vec生成±Infinity向量的原因咨询

这问题我之前帮团队排查过类似的，结合你的大语料（1.4B）+大词汇量（2.4M）+多迭代的场景，大概率是数值溢出导致的，具体原因和解决思路可以拆解成下面几点：

核心原因 #

• 梯度累积的数值爆炸：Word2Vec不管用负采样还是Hierarchical Softmax，本质都是基于梯度下降的参数更新。10次迭代时梯度累积还在浮点数的安全范围内，但20次迭代相当于多了一倍的更新次数，尤其是大语料下参数更新频率极高，容易让某些词的向量参数超出浮点数的表示范围，最终变成Infinity或-Infinity。
• 学习率适配问题：默认的学习率（比如Spark MLlib Word2Vec默认0.025）在少迭代时能稳定收敛，但迭代次数翻倍后，持续的高学习率会让参数更新幅度过大，直接冲破数值边界。
• 低频词的极端梯度：2.4M的词汇量里肯定有大量低频词，这些词的训练样本极少，每次计算梯度时容易出现极端值，多次迭代累积后就会溢出成无穷值。

可行的解决办法 #

• 调整学习率并加入衰减：把初始学习率调低（比如从0.025降到0.01），同时让学习率随迭代次数逐步衰减。比如每迭代2次就把学习率乘以0.9，避免后期更新幅度过大。你可以通过setLearningRate()设置初始值，再结合自定义的训练逻辑实现衰减（或者如果用的是较新版本的Spark，看看有没有内置的衰减参数）。
• 切换到更高精度的浮点数：Spark默认可能用float32来存储参数，换成double（float64）能大幅提升数值的表示范围，减少溢出概率。可以在初始化SparkSession时配置相关参数，确保模型训练过程中使用double精度。
• 优化负采样/层级Softmax参数：如果用的是负采样，把setNegativeSamplingRate从默认的5调低到3左右，减少每次迭代的梯度计算量，降低极端值出现的概率；如果是Hierarchical Softmax，可以检查树的构建逻辑，避免出现极端的权重分配。
• 清理异常数据或低频词：对语料做二次预处理，过滤掉那些出现次数极低（比如少于5次）的词，这些词不仅对模型贡献小，还容易引发数值问题。同时排查有没有极端高频的噪声词，这类词也会导致梯度异常累积。
• 训练后清理异常向量：如果上面的方法还不能完全避免，可以在训练结束后，遍历所有词向量，把包含Infinity或-Infinity的向量替换成均值向量或者随机初始化的向量，避免影响后续使用。

内容的提问来源于stack exchange，提问作者Natalia