单类分类特征选择：无类别标签的方法及实现咨询

当然存在无需类别标签的特征选择方法，这类方法属于无监督特征选择范畴，非常适合One Class SVM这类无监督/半监督模型的前置处理。下面是几种实用的方法及对应的Python实现方案：

• 方差过滤（Variance Threshold）
  原理：直接移除方差低于设定阈值的特征，这类特征通常携带的有效信息量极低，对模型无增益。
  实现：使用scikit-learn内置的VarianceThreshold即可快速实现：

  from sklearn.feature_selection import VarianceThreshold
  
  # 初始化过滤器，设置方差阈值（示例保留方差>0.1的特征）
  selector = VarianceThreshold(threshold=0.1)
  # 拟合数据并完成特征过滤
  filtered_features = selector.fit_transform(your_dataset)
  

  说明：作为预处理第一步效率极高，能快速剔除无意义特征。

• 基于互信息的无监督特征选择
  原理：衡量特征自身的信息量，或特征间的冗余程度，保留信息量高、冗余低的特征。
  实现：结合scikit-learn的SelectKBest与无监督互信息指标：

  from sklearn.feature_selection import SelectKBest, mutual_info_regression
  
  # 选择Top-N个特征，无监督场景下将特征自身作为目标输入
  selector = SelectKBest(score_func=mutual_info_regression, k=20)
  selected_features = selector.fit_transform(your_dataset, your_dataset)
  

  说明：如果是离散型特征，可替换为mutual_info_classif，核心逻辑一致。

• 基于聚类的特征选择
  原理：将每个特征视为独立样本进行聚类，从每个簇中挑选代表性特征，大幅降低特征冗余度。
  实现：用KMeans聚类特征后，选择每个簇中距离中心最近的特征：

  from sklearn.cluster import KMeans
  import numpy as np
  
  # 将特征矩阵转置，把每个特征作为聚类样本
  feature_samples = your_dataset.T
  # 对特征进行聚类（示例聚为10个簇）
  kmeans = KMeans(n_clusters=10, random_state=42)
  clusters = kmeans.fit_predict(feature_samples)
  
  # 从每个簇中选择代表性特征
  selected_indices = []
  for cluster_id in np.unique(clusters):
      cluster_mask = clusters == cluster_id
      cluster_features = feature_samples[cluster_mask]
      # 计算特征到簇中心的距离，选最近的那个
      distances = np.linalg.norm(cluster_features - kmeans.cluster_centers_[cluster_id], axis=1)
      selected_idx = np.where(cluster_mask)[0][np.argmin(distances)]
      selected_indices.append(selected_idx)
  
  # 获取筛选后的特征矩阵
  selected_features = your_dataset[:, selected_indices]
  

  说明：适合特征间冗余度高的场景，能有效压缩特征空间。

• 基于稀疏学习的无监督特征选择
  原理：通过L1正则化的线性模型重构原始数据，保留权重非零的特征，实现特征选择与降维。
  实现：用Lasso模型完成无监督特征筛选：

  from sklearn.linear_model import Lasso
  from sklearn.preprocessing import StandardScaler
  
  # Lasso对特征尺度敏感，先标准化处理
  scaler = StandardScaler()
  scaled_data = scaler.fit_transform(your_dataset)
  
  # 用Lasso重构数据，保留非零系数对应的特征
  lasso = Lasso(alpha=0.01, random_state=42)
  lasso.fit(scaled_data, scaled_data)
  
  # 获取非零系数的特征索引
  selected_indices = np.where(lasso.coef_ != 0)[0]
  selected_features = your_dataset[:, selected_indices]
  

  说明：适合高维稀疏数据集，能同时实现降噪与特征筛选。

这些方法可单独使用，也可组合（比如先方差过滤，再用聚类或稀疏学习进一步精简），具体选择可根据你的数据特性调整。在One Class SVM前应用这类方法，通常能减少计算开销，同时提升模型的异常检测性能。

内容的提问来源于stack exchange，提问作者Gvasiles