LogisticRegression遍历特征组合报错及拆分后返回空结果求助

第一个问题：ValueError: X has 10 features, but LogisticRegression expects 1 feature #

这个错误的核心原因是当你选择单个特征组合时，DataFrame的切片返回的是Series（1D数组），而scikit-learn的模型要求输入必须是2D数组（形状为(n_samples, n_features)）。比如当你用df[('feature1',)]提取单个特征时，得到的是Series，而模型期望的是至少一列的DataFrame或2D numpy数组。

解决方法很简单：把特征组合的元组转换成列表，确保提取的特征是2D结构：

# 错误写法：返回Series
X = df[comb]  # comb是('feature1',)这样的元组

# 正确写法：返回DataFrame（2D）
X = df[list(comb)]

第二个问题：加入train_test_split后最优特征为空、F1和AUC为0 #

这种情况通常由几个常见逻辑或数据问题导致，我们逐一排查并解决：

1. 模型预测全偏向某一类别（尤其是不平衡数据集）

如果你的数据集类别分布极不平衡（比如99%是0类，1%是1类），默认的LogisticRegression会倾向于预测多数类，导致少数类的F1分数为0，AUC也会极低。

解决方案：

• 在模型初始化时加入class_weight='balanced'，让模型自动调整类别权重：

  model = LogisticRegression(class_weight='balanced', max_iter=1000)
  

• 用stratify=y划分训练测试集，保持子集的类别分布和原数据一致：

  X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)
  

2. 模型未收敛，系数全为0

LogisticRegression对特征尺度敏感，如果特征之间数值差异很大（比如一个特征是0-1，另一个是1000-2000），模型可能无法收敛，导致所有预测结果都是同一个类别（比如全0），进而F1和AUC为0。

解决方案：

• 在训练前对特征做标准化处理：

  from sklearn.preprocessing import StandardScaler
  
  scaler = StandardScaler()
  X_train_scaled = scaler.fit_transform(X_train)
  X_test_scaled = scaler.transform(X_test)
  model.fit(X_train_scaled, y_train)
  

• 增大模型的迭代次数：max_iter=1000（默认是100，可能不够收敛）。

3. 最优值初始化或更新逻辑错误

如果你的代码里初始的最优F1/AUC设置得过高（比如设为1），或者更新条件写反了（比如用current_f1 < best_f1才更新），就会导致没有任何组合能触发更新，最终最优特征列表为空。

正确的初始化和更新逻辑：

# 初始值设为0（F1和AUC的最低可能值）
best_f1 = 0
best_auc = 0
best_features = []

# 更新条件：优先看F1，F1相同则看AUC
if current_f1 > best_f1 or (current_f1 == best_f1 and current_auc > best_auc):
    best_f1 = current_f1
    best_auc = current_auc
    best_features = list(comb)

4. 指标计算错误

• 计算AUC时，必须传入预测概率（y_proba）而不是预测类别（y_pred）：

  y_proba = model.predict_proba(X_test_scaled)[:, 1]  # 取正类的概率
  current_auc = roc_auc_score(y_test, y_proba)
  

• 计算F1时，如果你的正类不是默认的1，需要指定pos_label参数：

  current_f1 = f1_score(y_test, y_pred, pos_label=1)  # 假设正类是1
  

完整可运行示例代码 #

把上面的解决方案整合起来，得到一个能正确遍历特征组合并找到最优解的函数：

import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import f1_score, roc_auc_score
from sklearn.preprocessing import StandardScaler
from itertools import combinations

def find_best_feature_combination(df, target_col):
    # 分离特征和目标列
    features = [col for col in df.columns if col != target_col]
    best_f1 = 0
    best_auc = 0
    best_features = []
    
    # 遍历所有可能的特征组合长度（从1个特征到全部特征）
    for k in range(1, len(features) + 1):
        for comb in combinations(features, k):
            # 提取特征（确保是2D结构）
            X = df[list(comb)]
            y = df[target_col]
            
            # 分层划分训练测试集
            X_train, X_test, y_train, y_test = train_test_split(
                X, y, test_size=0.2, random_state=42, stratify=y
            )
            
            # 特征标准化
            scaler = StandardScaler()
            X_train_scaled = scaler.fit_transform(X_train)
            X_test_scaled = scaler.transform(X_test)
            
            # 初始化模型（处理不平衡+确保收敛）
            model = LogisticRegression(
                class_weight='balanced', 
                max_iter=1000, 
                random_state=42
            )
            model.fit(X_train_scaled, y_train)
            
            # 预测结果
            y_pred = model.predict(X_test_scaled)
            y_proba = model.predict_proba(X_test_scaled)[:, 1]
            
            # 计算指标
            current_f1 = f1_score(y_test, y_pred, pos_label=1)
            current_auc = roc_auc_score(y_test, y_proba)
            
            # 更新最优组合
            if current_f1 > best_f1 or (current_f1 == best_f1 and current_auc > best_auc):
                best_f1 = current_f1
                best_auc = current_auc
                best_features = list(comb)
                print(f"更新最优组合: {comb} | F1: {current_f1:.4f} | AUC: {current_auc:.4f}")
    
    return best_features, best_f1, best_auc

# 调用示例（替换成你的数据集）
# df = pd.read_csv("your_dataset.csv")
# best_feats, best_f1_score, best_auc_score = find_best_feature_combination(df, "your_target_column")
# print(f"\n最终最优特征组合: {best_feats}")
# print(f"最优F1分数: {best_f1_score:.4f} | 最优AUC: {best_auc_score:.4f}")

内容的提问来源于stack exchange，提问作者Kyle Turner