使用scikit-learn测试回归模型的所有特征组合方案

首先明确：你要的是包含目标3个特征的所有特征子集（如果子集不含目标特征，那它们的系数根本不存在），在这些子集中找到能让目标特征系数强度最高的组合。F regression的局限在于它是单变量相关性检验，完全忽略特征间的交互与共线性，所以无法解决你的问题。

核心思路 #

1. 生成所有包含目标特征的特征子集
2. 对每个子集训练线性模型（需标准化特征，消除尺度对系数的影响）
3. 提取目标特征的系数，计算自定义的“强度指标”
4. 筛选出强度最高的特征组合

具体实现代码 #

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import StandardScaler
from itertools import combinations

# 模拟数据（替换成你的真实数据）
X = np.random.rand(100, 10)  # 10个特征，100样本
y = np.random.rand(100)       # 目标变量

# 定义你关注的3个特征的索引（根据你的数据调整）
target_feature_indices = [0, 1, 2]
remaining_feature_indices = [i for i in range(X.shape[1]) if i not in target_feature_indices]

# 生成所有包含目标特征的子集：目标特征 + 剩余特征的任意子集
valid_combinations = []
for num_extra in range(0, len(remaining_feature_indices)+1):
    for extra_subset in combinations(remaining_feature_indices, num_extra):
        full_subset = list(target_feature_indices) + list(extra_subset)
        valid_combinations.append(full_subset)

# 初始化工具
scaler = StandardScaler()
best_strength = -np.inf
best_subset = None
best_target_coeffs = None

# 遍历所有组合
for subset in valid_combinations:
    # 提取当前子集的特征
    X_sub = X[:, subset]
    # 标准化特征（关键：消除尺度差异，让系数有可比性）
    X_sub_scaled = scaler.fit_transform(X_sub)
    # 训练线性回归模型
    model = LinearRegression()
    model.fit(X_sub_scaled, y)
    # 找到目标特征在当前子集中的位置
    target_positions = [i for i, idx in enumerate(subset) if idx in target_feature_indices]
    # 提取目标特征的系数绝对值（强度用绝对值衡量）
    target_coeff_abs = np.abs(model.coef_[target_positions])
    
    # 定义强度指标：这里用系数绝对值的总和，你也可以换成平均值/最小绝对值
    current_strength = target_coeff_abs.sum()
    
    # 更新最优组合
    if current_strength > best_strength:
        best_strength = current_strength
        best_subset = subset
        best_target_coeffs = target_coeff_abs

# 输出结果
print(f"最优特征组合（索引）：{best_subset}")
print(f"目标特征系数绝对值总和：{best_strength:.4f}")
print(f"目标特征的系数绝对值：{best_target_coeffs.round(4)}")

关键细节说明 #

• 特征标准化：必须做！原始特征的尺度差异会直接影响系数大小（比如范围0-1000的特征系数会远大于0-1的特征），标准化后系数代表“特征每变化1个标准差，目标变量的变化量”，此时的系数强度才有实际比较意义。
• 强度指标选择：
  • 用总和：优先整体强度最大的组合
  • 用平均值：关注目标特征的平均强度
  • 用最小绝对值：保证三个目标特征的系数都不低（避免某一个极高、另外两个极低的情况）
• 计算量限制：10个特征时，有效组合数是2^{7=128种，完全可以快速计算；如果特征数超过20，全组合会达到2}17=131072种，此时可以改用启发式方法（比如mlxtend库的SequentialFeatureSelector做逐步选择），避免暴力枚举。
• 模型选择：如果需要考虑正则化（比如缓解共线性），可以把LinearRegression换成Ridge或Lasso，但要注意正则化会压缩系数大小，需调整正则化参数。

内容的提问来源于stack exchange，提问作者griefter