XGBoost多类别文本分类：未知数据仅预测单一类别问题排查

问题背景 #

我正在开展18类别的文本分类任务，数据集规模仅1000余行（数据量极小）。训练的XGBoost模型在验证集上的准确率约为64%，符合预期，但对未知数据集（unseen data）仅输出单一类别。

实现代码：

# tf-idf verctor representation
tfidf_vect = TfidfVectorizer(analyzer='word',
                      stop_words=stopwords_custom,
                      max_features=total_features,
                      lowercase=True)
fitted_vectorizer = tfidf_vect.fit(X_train)
xtrain_tfidf = fitted_vectorizer.transform(X_train)
xval_tfidf = fitted_vectorizer.transform(X_val)
# Running the XGB model
xgb_params = {"max_depth": (3,5,7),'n_estimators': (50,100,150),
'reg_alpha':[0.1,0.5,1],'reg_lambda':[1,1.5,2],'min_child_weight':[2,4,6]}
from xgboost import XGBClassifier
xgb_clf = XGBClassifier()
grid_xgb = GridSearchCV(estimator=xgb_clf,
                     param_grid=xgb_params,
                     cv=5,
                     n_jobs=-1)
grid_xgb.fit(xtrain_tfidf,y_train)

print(grid_xgb.best_params_)
print(grid_xgb.best_score_)
# Training the model with best params
final_xgb = XGBClassifier(max_depth = 5,
                       reg_alpha = 1,
                       reg_lambda = 1,
                       n_estimators = 100,
                       objective='multi:softmax',num_class=18,
                       random_state=42)
final_xgb.fit(xtrain_tfidf,y_train)
final_xgb_predict = final_xgb.predict(xval_tfidf)
xgb_accuracy = metrics.accuracy_score(final_xgb_predict, y_val)
print ("XGBoost > Accuracy: ", xgb_accuracy)

问题根源与解决办法 #

1. 数据集层面 #

• 类别不平衡：若某类别样本占比过高，模型会优先输出该类别以保证整体准确率，小数据场景下这种偏差会被放大。统计训练/验证集的类别分布，确认是否存在极端不平衡。
• 数据分布偏移：未知数据的文本主题、用词习惯与训练集差异过大，导致TF-IDF特征完全不在同一分布，模型只能输出最“安全”的高频类别。

2. TF-IDF配置问题 #

• max_features设置不合理：小数据集下，过大的total_features会生成大量稀疏特征，XGBoost难以学习有效模式；过小则丢失关键区分特征。建议尝试1000-3000的范围，逐步调整。
• 自定义停用词过度过滤：stopwords_custom若过滤了过多有类别区分度的词汇，会让不同类别的文本特征同质化，模型无法找到分类依据。检查停用词列表，移除可能的关键词汇。

3. XGBoost训练问题 #

• 网格搜索未适配多分类：初始xgb_clf未指定多分类目标，默认按二分类搜索参数，找到的最优参数不适合18分类场景。应提前指定多分类配置：

  xgb_clf = XGBClassifier(objective='multi:softmax', num_class=18, random_state=42)
  

• 正则化强度不足：小数据集+多分类极易过拟合，当前reg_alpha=1、reg_lambda=1的正则化强度不够。建议扩大参数范围，比如reg_alpha=[1,3,5]、reg_lambda=[1,3,5]，同时缩小max_depth到2-4。
• 未考虑类别权重：默认的XGBoost平等对待所有类别，不平衡场景下需手动设置类别权重：

  from sklearn.utils.class_weight import compute_class_weight
  class_weights = compute_class_weight('balanced', classes=np.unique(y_train), y=y_train)
  final_xgb = XGBClassifier(
      # 保留其他参数
      scale_pos_weight=class_weights  # 适配多分类的权重设置
  )
  

• 过拟合风险：验证集准确率64%但未知数据失效，大概率是模型过拟合训练集。可加入早停机制，在验证集性能不再提升时停止训练：

  final_xgb.fit(xtrain_tfidf, y_train, 
                eval_set=[(xval_tfidf, y_val)], 
                early_stopping_rounds=10,
                verbose=False)
  

4. 未知数据预处理问题 #

确保未知数据使用**训练集拟合的fitted_vectorizer**做TF-IDF转换，绝对不能重新拟合，否则特征空间不一致会导致模型输出异常。

内容的提问来源于stack exchange，提问作者Django0602