多标签文本分类准确率偏低的原因及提升方案咨询

• 子集准确率的严苛性：你使用的accuracy_score是多标签任务中的子集准确率，要求预测的标签集合与真实标签完全匹配，哪怕错一个标签就判定为错误。你的数据有15种不同的标签组合，本身就很难做到完全匹配，这是指标特性导致的“低准确率”，并非模型完全失效——你的Hamming Loss为0.2，说明单标签的错误率仅为20%，远好于子集准确率反映的情况。
• 标签分布严重不均衡：从类别分布来看，单个标签（如happy）有182条样本，但小样本标签（如excited、frustrated）仅31条，多标签组合的样本量差异也极大。模型对小样本标签/组合的学习能力不足，这些样本的预测错误会大幅拉低整体子集准确率。
• 文本特征工程不足：你使用的MultinomialNB、LogisticRegression等传统模型高度依赖文本特征质量。如果仅用基础的词袋（BoW）或TF-IDF，未做文本清洗、停用词去除、词干/词形还原等预处理，特征无法有效捕捉情感语义，模型学习效率低下。
• 多标签方法的局限性：
  • BinaryRelevance完全忽略标签间的关联（如happy和satisfied常同时出现），无法利用标签相关性提升预测；
  • LabelPowerset将多标签转换为单标签分类，但15种标签组合相当于15个类别，进一步加剧了类别不平衡问题；
  • ClassifierChain的效果依赖标签顺序，若默认顺序未考虑标签相关性，也难以发挥作用。

一、优化评估指标，避免误判 #

• 放弃仅依赖子集准确率，改用更适合多标签任务的指标：
  • 微/宏F1分数：衡量整体或单个标签的分类性能；
  • Hamming得分：即1 - Hamming Loss，反映单标签的预测正确率；
  • 精确率/召回率：针对重点关注的标签（如frustrated）单独评估。

二、数据与文本预处理优化 #

1. 强化文本清洗：

   import re
   from nltk.corpus import stopwords
   from nltk.stem import WordNetLemmatizer
   
   def preprocess_text(text):
       # 去除特殊字符与数字
       text = re.sub(r'[^a-zA-Z\s]', '', text.lower())
       # 分词并去除停用词
       stop_words = set(stopwords.words('english'))
       words = text.split()
       words = [word for word in words if word not in stop_words]
       # 词形还原
       lemmatizer = WordNetLemmatizer()
       words = [lemmatizer.lemmatize(word) for word in words]
       return ' '.join(words)
   

2. 缓解标签不平衡：
   • 对小样本标签/组合做数据增强：如同义词替换、随机插入语义相近词汇（需保持情感不变）；
   • 拆分多标签为单标签任务，先优化每个单标签的二分类效果，再组合为多标签预测。

三、特征与模型升级 #

1. 升级文本特征：
   • 替换BoW/TF-IDF为预训练词嵌入（如GloVe、Word2Vec），或使用FastText捕捉子词特征；
   • 启用TF-IDF的n-gram（如1-3 gram），捕捉“very happy”这类短语级情感特征。
2. 尝试强模型：
   • 神经网络：使用TextCNN、LSTM等模型，更好捕捉文本序列的情感语义；
   • 预训练语言模型（BERT）：在BERT输出层后添加全连接层，用sigmoid激活实现多标签分类，能大幅提升上下文语义理解能力，是当前文本分类的最优方案之一。
3. 多标签方法调优：
   • 对ClassifierChain，尝试调整标签顺序（按标签出现频率排序），或使用集成链模型（Ensemble of Classifier Chains）；
   • 对LabelPowerset，设置class_weight='balanced'缓解类别不平衡；
   • 用MultiOutputClassifier结合带L2正则的LogisticRegression，同时调整正则化参数避免过拟合。

四、训练过程优化 #

• 添加正则化：如LogisticRegression使用penalty='l2'并调整C值，MultinomialNB调整alpha值；
• 使用交叉验证：采用5折/10折交叉验证，避免单次划分数据带来的偏差；
• 超参数调优：用网格搜索（GridSearchCV）或随机搜索（RandomizedSearchCV）寻找模型最优参数。

内容的提问来源于stack exchange，提问作者Ali Imran