如何解决UndefinedMetricWarning：因无预测样本导致Precision未定义

核心原因 #

调参后的决策树模型在验证/测试集的少数类别上没有生成任何预测结果，导致Precision计算时分母为0（无预测为该类的样本）。这种情况通常源于：

• 调参后的max_depth过小，模型过于简单，无法捕捉少数类的特征模式
• min_samples_split过大，模型无法拆分出足够节点拟合少数类数据
• 原始数据集可能存在类别不平衡，单次train-test split后部分子集的类别分布偏差被放大

根源解决步骤 #

1. 排查数据分布 #

先确认训练集、测试集的类别分布是否合理，执行以下代码查看：

print("训练集类别分布:\n", train_y.value_counts(normalize=True))
print("测试集类别分布:\n", test_y.value_counts(normalize=True))

若某子集里少数类占比极低（比如<5%），调参后的简单模型极易忽略该类别。

2. 优化超参数搜索逻辑 #

• 不要仅依赖ROC曲线选参，ROC对类别不平衡不敏感，加入Precision-Recall曲线或F1分数作为评估指标，确保模型对少数类有预测能力
• 限制超参数的合理范围，避免模型过于简单：

  param_grid = {
      'max_depth': [3,5,7,9],  # 避免过小值导致模型欠拟合
      'min_samples_split': [2,5,10]  # 避免过大值无法拆分出少数类节点
  }
  

3. 改用分层交叉验证 #

StratifiedKFold能保持每个折的类别分布与原始数据集一致，避免单次train-test split带来的分布偏差，示例代码：

from sklearn.model_selection import StratifiedKFold, GridSearchCV
from sklearn.tree import DecisionTreeClassifier

skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
grid_search = GridSearchCV(
    estimator=DecisionTreeClassifier(),
    param_grid=param_grid,
    cv=skf,
    scoring=['roc_auc', 'f1'],  # 同时关注ROC和F1分数
    refit='f1'  # 优先按F1分数选择最优模型
)
grid_search.fit(train_x, train_y)

这种方式比单次拆分更可靠，能降低数据分布波动导致的模型偏差。

4. 处理类别不平衡（若存在） #

如果数据集本身类别不平衡，训练时可加入类别权重让模型更关注少数类：

model = DecisionTreeClassifier(class_weight='balanced', random_state=42)

数据处理顺序确认 #

你的现有流程（先train-test split，再用训练集拟合StandardScaler后标准化）是正确的，能避免数据泄露问题。

内容的提问来源于stack exchange，提问作者Alejandro Harrison