基于购买行为的大型高维客户聚类算法及Python实现咨询

嘿，针对你这个50万客户+8000个独热编码产品的聚类问题，我之前处理过类似的高维稀疏数据集，咱们一步步来拆解解决方案：

一、先搞懂为啥之前的方法没效果 #

你之前用MCA降维+K-means/DBSCAN的思路没问题，但架不住数据太极端：

• 8000维的独热数据是极度稀疏的，MCA在这么高的维度下，降维过程很容易丢失关键的客户购买模式；
• K-means默认的欧氏距离在高维稀疏空间里基本失效（所有点的距离都差不多），根本分不出有效聚类；
• DBSCAN的epsilon参数在这种空间里完全没法调，而且计算复杂度极高，50万数据跑起来大概率要卡死。

二、推荐的算法及Python实现 #

1. Mini-Batch K-Means（小批量K均值） #

这绝对是处理你这种数据的首选，专门为大型稀疏数据集设计：

• 核心优势：不用加载全量数据，用小批量迭代更新聚类中心，速度快、内存占用低；配合余弦相似度，能精准衡量客户购买偏好的相似性。
• Python实现（记得用稀疏矩阵！）：

from sklearn.cluster import MiniBatchKMeans
from scipy.sparse import csr_matrix
import pandas as pd

# 假设你的数据存在df里，先转成稀疏矩阵（独热数据天生稀疏，能省90%内存）
sparse_data = csr_matrix(df.values)

# 初始化模型，先通过肘部法/轮廓系数选合适的n_clusters
mb_kmeans = MiniBatchKMeans(
    n_clusters=6,  # 可根据业务调整
    batch_size=1500,  # 小批量大小，看你内存情况调
    metric='cosine',  # 重点！独热数据一定要用余弦距离
    random_state=42,
    verbose=1  # 打印进度，方便监控
)
# 生成聚类标签
cluster_labels = mb_kmeans.fit_predict(sparse_data)

# 把标签加回原数据集
df['cluster_label'] = cluster_labels

• 小技巧：先过滤掉购买率极低的产品（比如购买人数<总客户数0.1%的），能大幅减少维度，提升速度。

2. HDBSCAN（层次密度聚类） #

如果你不想预先指定聚类数，想自动发现客户群体（包括小众边缘群体），HDBSCAN是绝佳选择：

• 核心优势：自动确定聚类数，不用调DBSCAN那种头疼的epsilon参数；能标记噪声点（比如购买行为极特殊的客户），适合精细化客户细分。
• Python实现：

import hdbscan
from scipy.sparse import csr_matrix

sparse_data = csr_matrix(df.values)

# 初始化模型，min_cluster_size控制最小聚类的客户数
hdbscan_clusterer = hdbscan.HDBSCAN(
    min_cluster_size=1200,  # 比如至少1200个客户算一个有效群体，根据业务调
    metric='cosine',
    cluster_selection_method='eom',  # 自动选聚类数的最优方法
    verbose=1
)
cluster_labels = hdbscan_clusterer.fit_predict(sparse_data)

df['cluster_label'] = cluster_labels

• 小技巧：如果内存紧张，先做特征筛选再跑HDBSCAN，速度会快很多。

3. Birch（平衡迭代规约和聚类层次） #

如果你的内存真的很有限，Birch是处理超大规模数据的终极利器：

• 核心优势：先构建紧凑的CF（特征聚类）树，用极少内存就能处理百万级数据；时间复杂度是O(n)，快到离谱。
• Python实现：

from sklearn.cluster import Birch
from scipy.sparse import csr_matrix

sparse_data = csr_matrix(df.values)

# 初始化模型，threshold控制聚类粒度（值越小聚类越多）
birch = Birch(
    threshold=0.4,
    n_clusters=5,  # 也可以设为None先建CF树，再用Mini-Batch K-Means二次优化
    verbose=1
)
cluster_labels = birch.fit_predict(sparse_data)

df['cluster_label'] = cluster_labels

• 进阶玩法：先设n_clusters=None得到初始聚类，再用Mini-Batch K-Means对CF中心做二次聚类，能兼顾速度和精度。

三、前置优化：让聚类效果翻倍的关键 #

1. 必须用稀疏矩阵：用scipy.sparse.csr_matrix存储数据，不要用普通DataFrame，能节省90%以上的内存；
2. 特征筛选：删掉购买率极低的产品，这些产品对聚类毫无贡献，只会增加计算负担；
3. 降维可选UMAP：如果想可视化聚类结构，别用TSNE（太慢），用UMAP——对高维稀疏数据友好，速度快，还能保留更多全局结构。示例：

import umap
import matplotlib.pyplot as plt
from scipy.sparse import csr_matrix

# 采样10%数据做降维（全量降维太慢）
sampled_data = csr_matrix(df.values[:50000])
reducer = umap.UMAP(metric='cosine', n_components=2, random_state=42)
embedding = reducer.fit_transform(sampled_data)

# 可视化聚类分布
plt.scatter(embedding[:, 0], embedding[:, 1], s=1, alpha=0.5)
plt.title('UMAP Visualization of Customer Clusters')
plt.show()

四、效果评估：别只看统计指标 #

• 统计指标：用轮廓系数评估，但全量计算太慢，采样10%数据计算就行；
• 业务指标：更重要的是看每个聚类的客户平均购买金额、购买频次、核心购买产品，确保聚类结果符合业务逻辑（比如有没有“高频购买美妆的年轻女性”“囤货型母婴客户”这类清晰的群体）。

内容的提问来源于stack exchange，提问作者mahdi ebrahimi