基于t-SNE降维的聚类特征分析及PCA适用性咨询

• 已完成t-SNE降维+K-means聚类，需分析t-SNE聚类结果，识别scores数据框中各聚类的核心特征，明确哪些特征最有助于区分不同聚类。
• 咨询：能否使用PCA这类保留数据点间距离的算法完成该任务？PCA是否比t-SNE更适合？

背景信息：

• 数据基础：scores含约1100份患者样本、25个特征；聚类标签来自metadata数据框
• 实现过程：先用R生成t-SNE可视化图，后改用Python实现t-SNE降维与K-means聚类，PCA可视化效果较差，但核心需求不变，可使用R或Python工具

1. 统计检验筛选差异特征 #

针对每个特征，检验不同聚类间的均值是否存在显著差异，筛选出具有区分度的特征，再通过事后检验明确聚类间的差异细节。

• R代码示例：

library(dplyr)
# 合并特征数据与聚类标签
data_combined <- inner_join(scores, metadata, by = "样本ID列名")
# 遍历特征做ANOVA检验
feature_pvals <- sapply(colnames(scores), function(col) {
  aov_result <- aov(get(col) ~ cluster_label, data = data_combined)
  summary(aov_result)[[1]][["Pr(>F)"]][1]
})
# 筛选显著特征（以p<0.05为例）
significant_features <- names(feature_pvals)[feature_pvals < 0.05]
# Tukey事后检验明确聚类间差异
tukey_result <- TukeyHSD(aov(get(significant_features[1]) ~ cluster_label, data = data_combined))
print(tukey_result)

• Python代码示例：

import pandas as pd
from scipy.stats import f_oneway
from statsmodels.stats.multicomp import pairwise_tukeyhsd

# 合并数据
data_combined = pd.merge(scores, metadata, on="样本ID列名")
# 存储各特征的p值
feature_pvals = {}
for col in scores.columns:
    groups = [data_combined[data_combined["cluster_label"] == label][col] for label in data_combined["cluster_label"].unique()]
    f_stat, p_val = f_oneway(*groups)
    feature_pvals[col] = p_val
# 筛选显著特征
significant_features = [col for col, p in feature_pvals.items() if p < 0.05]
# Tukey事后检验
tukey = pairwise_tukeyhsd(endog=data_combined[significant_features[0]], groups=data_combined["cluster_label"], alpha=0.05)
print(tukey.summary())

2. 树模型提取特征重要性 #

以聚类标签为目标变量，训练随机森林、XGBoost等树模型，直接获取对聚类区分贡献最大的特征。

• R代码示例：

library(randomForest)
data_combined$cluster_label <- as.factor(data_combined$cluster_label)
# 训练随机森林模型
rf_model <- randomForest(cluster_label ~ ., data = data_combined[, c(colnames(scores), "cluster_label")])
# 查看特征重要性
importance(rf_model)
varImpPlot(rf_model)

• Python代码示例：

from sklearn.ensemble import RandomForestClassifier

data_combined["cluster_label"] = data_combined["cluster_label"].astype("category")
# 训练随机森林模型
rf_model = RandomForestClassifier(n_estimators=100, random_state=42)
rf_model.fit(scores, data_combined["cluster_label"])
# 整理并输出特征重要性
feature_importance = pd.DataFrame({
    "feature": scores.columns,
    "importance": rf_model.feature_importances_
}).sort_values(by="importance", ascending=False)
print(feature_importance)

3. 聚类中心特征对比 #

计算每个聚类的特征均值/中位数，对比聚类间的特征波动幅度，找出差异最明显的特征。

• Python代码示例：

# 计算各聚类的特征均值
cluster_centers = data_combined.groupby("cluster_label")[scores.columns].mean()
# 计算特征的组间变异系数（波动幅度）
feature_variability = cluster_centers.std() / cluster_centers.mean()
feature_variability = feature_variability.sort_values(ascending=False)
print(feature_variability)

1. 能否用PCA完成聚类任务？ #

可以。PCA是线性降维算法，保留数据的全局方差结构，降维后的数据可直接用于K-means等聚类算法。步骤与t-SNE一致：先对scores做PCA降维（通常保留累计方差贡献率80%以上的主成分），再执行K-means聚类，最后分析结果即可。

2. PCA是否比t-SNE更适合？ #

两者适用场景不同，没有绝对的“更优”：

• 若核心需求是保留全局结构、解释特征贡献，PCA更适合：PCA的主成分可解释为原始特征的线性组合，能直接看到哪些原始特征对主成分影响最大，且计算速度远快于t-SNE，适合1100样本这类中等规模数据集。
• 若需求是可视化局部聚类结构，t-SNE更优：t-SNE擅长捕捉数据的局部相似性，能让相似样本在可视化图中聚在一起，但降维结果无解释性，且对参数（如perplexity）敏感、计算耗时。
• 你提到PCA可视化效果差，大概率是因为数据的聚类结构是非线性的，而PCA无法捕捉非线性关系，但这并不影响用PCA做聚类——只要数据在PCA降维后的空间仍有可区分的聚类结构，就能得到有效结果。

内容的提问来源于stack exchange，提问作者Programming Noob