如何利用AutoEncoder评估特征重要性并进行特征选择

你已了解自编码器（AE）可压缩信息并提取输入数据的代表性特征，且知晓有文献利用AE评估原始矩阵中各特征的重要性，进而用筛选后的特征构建随机森林、XGBoost、逻辑回归等模型。以下针对你训练的PyTorch版多层AE，讲解特征选择与权重计算的具体实现方法：

一、核心原理 #

自编码器通过最小化输入与重构输出的误差学习特征表示，原始特征的重要性可通过编码器权重的累积贡献或特征对重构误差的影响来衡量：

• 对于多层线性编码器，可通过逐层权重矩阵的乘积，计算原始特征到最终编码层的直接权重映射，以此量化特征重要性；
• 也可通过移除单个特征后重构误差的变化程度，判断特征的关键程度（误差上升越多，特征越重要）。

二、多层编码器的权重计算实操 #

你的编码器由5层线性层构成，我们可以通过权重矩阵的逐层相乘，得到每个原始特征对最终编码结果的总贡献，具体步骤如下：

注意：你的代码中未展示input_data转换为tensor的步骤，需补充：

tensor2 = torch.tensor(input_data.values, dtype=torch.float32)

1. 提取编码器各层权重 #

从训练好的AE模型中提取所有线性层的权重：

# 提取编码器中的所有线性层权重
encoder_weights = []
for layer in autoencoder.encoder:
    if isinstance(layer, nn.Linear):
        # 获取权重矩阵，形状为(out_features, in_features)
        encoder_weights.append(layer.weight.data)

2. 计算原始特征到编码层的总权重 #

将各层权重矩阵依次相乘，得到原始特征（428维）到最终编码层（9维）的总权重矩阵（形状为9×428）：

# 初始化总权重为第一层权重
total_weight = encoder_weights[0]
# 逐层相乘后续权重矩阵
for w in encoder_weights[1:]:
    total_weight = torch.matmul(w, total_weight)

3. 计算特征重要性得分 #

对总权重矩阵的每一列（对应一个原始特征）计算绝对值之和或L2范数，作为该特征的重要性得分：

# 方法1：计算每列权重的绝对值之和
feature_importance = torch.sum(torch.abs(total_weight), dim=0).numpy()

# 方法2：计算每列权重的L2范数（可选）
# feature_importance = torch.norm(total_weight, dim=0).numpy()

4. 特征筛选与排序 #

将得分与原始特征名对应，按得分降序排序后选择Top N个特征：

# 结合特征名生成DataFrame
feature_scores = pd.DataFrame({
    'feature': input_data.columns,
    'importance': feature_importance
})

# 按重要性降序排序
feature_scores = feature_scores.sort_values(by='importance', ascending=False)

# 选择Top 100个特征（可根据需求调整N值）
selected_features = feature_scores['feature'].head(100).tolist()

# 提取筛选后的特征矩阵
selected_data = input_data[selected_features]

三、基于重构误差的特征重要性计算（备选方法） #

如果需要更直接反映特征对重构效果的影响，可采用逐个移除特征并计算重构误差的方法：

# 先获取训练好的AE在完整数据上的基准重构误差
with torch.no_grad():
    _, decoded_full = autoencoder(tensor2)
    base_loss = loss_func(decoded_full, tensor2).item()

feature_importance_error = []
for feature in input_data.columns:
    # 移除当前特征
    data_without_feature = input_data.drop(columns=[feature])
    tensor_without = torch.tensor(data_without_feature.values, dtype=torch.float32)
    # 补0（保持输入维度与原模型一致）
    tensor_without = torch.cat([tensor_without, torch.zeros(tensor_without.size(0), 1)], dim=1)
    # 计算重构误差
    with torch.no_grad():
        _, decoded = autoencoder(tensor_without)
        current_loss = loss_func(decoded, tensor2).item()
    # 误差上升量即为特征重要性
    importance = current_loss - base_loss
    feature_importance_error.append((feature, importance))

# 转换为DataFrame并排序
error_based_scores = pd.DataFrame(feature_importance_error, columns=['feature', 'importance'])
error_based_scores = error_based_scores.sort_values(by='importance', ascending=False)

四、下游模型训练 #

筛选得到特征后，即可用selected_data作为输入，训练随机森林、XGBoost等模型：

# 示例：训练随机森林分类器
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 假设你有标签数据y（需自行准备）
X_train, X_test, y_train, y_test = train_test_split(selected_data, y, test_size=0.2, random_state=42)

rf = RandomForestClassifier(n_estimators=100, random_state=42)
rf.fit(X_train, y_train)
y_pred = rf.predict(X_test)
print(f"随机森林准确率: {accuracy_score(y_test, y_pred):.4f}")

内容的提问来源于stack exchange，提问作者Xuexing Wangzhe Dishitian