多项式朴素贝叶斯分类长文本出现异常值及对数域错误的求助

问题根源分析 #

咱们先拆解你遇到的两个核心问题：

1. math domain error与无意义值：大概率是未登录词（OOV）的概率处理错误导致的。当超长文本里出现训练词汇表外的词时，如果你的代码直接给这类词分配0概率，math.log(0)就会触发定义域错误；另外也可能是拉普拉斯平滑的实现细节有误——比如分母没加上词汇表总大小V，导致极端情况下概率计算出错。
2. 超长文本检测效果不佳：纯词袋模型只看词频，对高频无区分度的词（比如“的”“是”）权重过高，超长文本里这类词的重复会稀释关键信息，这也是效果差的核心原因之一。

第一步：修复对数运算的定义域错误 #

要确保所有传入math.log的概率值严格大于0，关键做好这两点：

1. 正确实现拉普拉斯平滑 #

拉普拉斯平滑的核心公式不能错，这里再明确一遍：

• 类别条件概率（某词在类别c下的概率）：P(w|c) = (count(w,c) + 1) / (count_total_words_c + V)
  • count(w,c)：词w在类别c中的出现次数
  • count_total_words_c：类别c下所有词的总出现次数
  • V：训练集的词汇表总大小（所有不重复词的数量）
• 先验概率：P(c) = (count_docs_c + 1) / (total_docs + C)
  • count_docs_c：类别c的文档数
  • total_docs：总文档数
  • C：类别总数

2. 正确处理未登录词（OOV） #

对于训练词汇表中没有的词，不能直接忽略或赋值0，而是套用拉普拉斯平滑的逻辑：P(w|c) = 1 / (count_total_words_c + V)，这样所有词的概率都是正的，math.log就不会报错了。

下面是概率计算部分的代码示例：

import math
from collections import defaultdict

# 假设已训练好的参数
vocab = set()  # 训练集词汇表
class_word_counts = defaultdict(lambda: defaultdict(int))  # 类别-词频统计
class_total_words = defaultdict(int)  # 类别总词数
class_doc_counts = defaultdict(int)  # 类别文档数
total_docs = 0
num_classes = 0
V = len(vocab)

def calculate_log_prob(text, target_class):
    # 先验概率的对数
    log_prior = math.log( (class_doc_counts[target_class] + 1) / (total_docs + num_classes) )
    # 累加条件概率的对数
    log_likelihood = 0.0
    for word in text.split():
        word_count = class_word_counts[target_class].get(word, 0)
        # 拉普拉斯平滑后的概率
        prob = (word_count + 1) / (class_total_words[target_class] + V)
        log_likelihood += math.log(prob)
    return log_prior + log_likelihood

第二步：实现TF-IDF提升超长文本效果 #

TF-IDF能降低高频无意义词的权重，同时提升稀有关键信息的权重，完美适配超长文本的场景。下面是一个简单可复用的实现，同时兼容OOV处理：

TF-IDF核心逻辑 #

1. TF（词频）：TF(w,d) = count(w,d) / len(d)，即词w在文档d中的出现次数除以文档总词数
2. IDF（逆文档频率）：IDF(w) = log( total_docs / (count_docs_containing_w + 1) )，加1是为了避免分母为0（对应拉普拉斯平滑）
3. TF-IDF：TF-IDF(w,d) = TF(w,d) * IDF(w)

完整代码片段 #

import math
from collections import defaultdict

class TFIDFVectorizer:
    def __init__(self):
        self.vocab = set()
        self.doc_count_per_word = defaultdict(int)  # 包含某词的文档数
        self.total_docs = 0

    def fit(self, documents):
        """用训练文档拟合TF-IDF参数"""
        self.total_docs = len(documents)
        for doc in documents:
            unique_words = set(doc.split())
            for word in unique_words:
                self.vocab.add(word)
                self.doc_count_per_word[word] += 1

    def transform(self, documents):
        """将文档转换为TF-IDF向量"""
        tfidf_vectors = []
        for doc in documents:
            word_counts = defaultdict(int)
            doc_length = len(doc.split())
            for word in doc.split():
                word_counts[word] += 1
            
            tfidf_dict = {}
            for word, count in word_counts.items():
                # 计算TF
                tf = count / doc_length
                # 计算IDF，处理OOV词（默认假设OOV词仅出现在1个文档）
                if word in self.doc_count_per_word:
                    idf = math.log(self.total_docs / (self.doc_count_per_word[word] + 1))
                else:
                    idf = math.log(self.total_docs / 1)
                tfidf_dict[word] = tf * idf
            tfidf_vectors.append(tfidf_dict)
        return tfidf_vectors

结合朴素贝叶斯使用TF-IDF #

你可以用TF-IDF值代替原始词频进行概率计算：训练时把class_word_counts换成TF-IDF的累加值，或者直接在计算条件概率时用TF-IDF权重替代词频，本质是给不同词的贡献加上合理的权重，避免高频无意义词干扰。

额外优化：提升超长文本的数值稳定性 #

对于10k词的超长文本，累加对数概率时可以用math.fsum代替普通的+=，它能有效减少浮点累加的精度误差：

def calculate_log_prob(text, target_class):
    log_prior = math.log( (class_doc_counts[target_class] + 1) / (total_docs + num_classes) )
    # 用math.fsum做高精度累加
    log_likelihood = math.fsum([
        math.log( (class_word_counts[target_class].get(word, 0) + 1) / (class_total_words[target_class] + V) )
        for word in text.split()
    ])
    return log_prior + log_likelihood

内容的提问来源于stack exchange，提问作者Nocturn9X