基于NumPy实现朴素贝叶斯垃圾邮件过滤时计算对数触发除零警告
问题产生原因
所有运行警告和最终输出全负无穷的核心触发逻辑非常明确:np.log()函数的输入值为0。数学上对数函数在0点的极限为负无穷,因此NumPy运行时会抛出divide by zero encountered in log的警告,最终计算结果直接输出-inf。结合垃圾邮件朴素贝叶斯的计算流程,和你遇到的三处警告一一对应的零输入场景包括:
- 第一处警告对应类先验概率计算环节的计数错误:代码中用于计算先验的
ham、spam变量本意是统计训练集中正常邮件、垃圾邮件的样本总数,如果统计逻辑写错,最终得到ham=0或spam=0,即便除以总样本数data_size,输入到log函数里的值依然是0,直接触发第一处警告。 - 第二、第三处警告对应词特征条件概率计算环节的未处理零频次:
ham_sums、spam_sums本意是统计每个词汇在正常邮件、垃圾邮件集合中的出现次数,如果某个词汇在对应类别的邮件中从未出现,该位置的计数值就是0,直接对计数取log就会触发后两处警告。 - 最终输出全数组为负无穷是连带反应:只要计算过程中某一步的log值为
-inf,后续累加分类得分时,无论加上多少个有限值,最终结果都会是-inf,因此会出现整段NumPy数组全是负无穷的情况。
可行解决方法
- 先排查基础统计逻辑的正确性:在取log之前,先打印输出
ham、spam两个类别的样本计数,验证是否满足ham + spam = data_size的基础关系,修正计数逻辑中的bug,从根源避免基础统计出现0值的低级错误。 - 用*拉普拉斯平滑(加1平滑)*解决零频次问题:这是朴素贝叶斯算法处理零概率场景的标准方案,从机制上避免出现log(0)的情况。具体调整方式为,计算条件概率时给每个词的出现次数加1,给分母加上整个词汇表的总大小,从概率定义上保证所有条件概率的计算结果都大于0,参考调整后的代码逻辑:
# V为训练集构建的词汇表总长度(所有不重复的词的数量) V = len(词汇表) # total_ham_words 是正常邮件类别下所有词的出现次数总和 # total_spam_words 是垃圾邮件类别下所有词的出现次数总和 ham_word_prob = (ham_sums + 1) / (total_ham_words + V) spam_word_prob = (spam_sums + 1) / (total_spam_words + V) # 对平滑后的概率取log,不会再出现0输入 log_ham_word_prob = np.log(ham_word_prob) log_spam_word_prob = np.log(spam_word_prob) # 类先验概率也可以做轻量平滑,避免某类样本极少时概率为0 log_ham_prior = np.log((ham_class_count + 1) / (data_size + 2)) log_spam_prior = np.log((spam_class_count + 1) / (data_size + 2)) - 临时兜底容错:如果不想改动原有统计逻辑,可以在取log前对输入值做截断,把所有小于极小值的数替换成极小正值,避免触发log(0)警告,例如:
注意这个方案只是临时规避警告,无法从概率合理性上解决零频次的问题,正式运行还是推荐用拉普拉斯平滑。# 用1e-10作为极小正值,只要输入大于0就不会触发警告 ham_class = np.log(np.maximum(ham / data_size, 1e-10)) ham_sums_log = np.log(np.maximum(ham_sums, 1e-10))
内容的提问来源于stack exchange,提问作者XIUJY1111
相关产品推荐
相关产品推荐

