使用TextBlob做情感分析时文本极性返回0的原因及优化方案咨询

识别偏差的核心原因 #

• TextBlob默认的情感词典收录范围有限：它底层依赖Pattern库的预置情感词表，你提到的challenging未被收录进负向情感词库，未收录的词汇会直接按中性处理，这是30%评论极性为0的核心原因。移除标点不会改变核心词的收录匹配结果，所以没有改善效果。
• 无上下文语义理解能力：TextBlob采用词袋匹配逻辑，只会单独统计每个词的极性，不会分析词汇搭配、语境关联，无法识别“通勤太长导致上班体验差”这类隐含的负面倾向。

你提到的测试例句：The long commute is making coming into work very challenging.
该句中TextBlob只能匹配到long、work这类中性词，无法关联challenging在该语境下的负面属性，所以返回极性0。

可落地的调整方案 #

• 补充自定义情感词典：先统计你的问卷评论里的高频情感词，给这类场景特有词手动标注极性，调用TextBlob时优先匹配自定义词表，示例代码如下：

from textblob import TextBlob
# 自定义情感词极性表，分值范围-1到1，负向为负，正向为正
custom_polarity = {
    "challenging": -0.6,
    "tiring": -0.7
}

def custom_sentiment(text):
    blob = TextBlob(text)
    polarity = 0
    for word in blob.words:
        if word.lower() in custom_polarity:
            polarity += custom_polarity[word.lower()]
        else:
            polarity += word.sentiment.polarity
    return polarity / len(blob.words) if len(blob.words) >0 else 0

• 优化文本预处理逻辑：不要只做标点移除，新增小写统一、词根还原处理，把challenging、challenged这类变形词统一还原为词根，提升词典匹配率；不要移除very、extremely这类程度副词，TextBlob默认支持程度副词的权重计算，保留后会放大情感极性的分值。
• 更换适配短文本的分析工具：如果自定义词典还是无法覆盖你的场景，可以换VADER模型，它专门针对评论、调研类短文本做优化，对口语化的情感表达识别率远高于TextBlob，能大幅降低极性为0的评论占比。

内容的提问来源于stack exchange，提问作者pav