不使用聚类算法获取数据集质心及更优公共点方案咨询
问题解答
一、不使用聚类算法的质心/公共点获取方法
你不需要依赖任何聚类算法就能获取可用的公共参照点,分单参照点和多参照点两类场景可选方法如下:
- 单全局质心:直接计算所有样本特征的算术平均值即可,公式为
c = (1/n) * Σx_i(n为数据集样本总数,x_i为第i个样本的特征向量),该统计量完全不涉及聚类逻辑,是最基础的全局质心。 - 多参照点(需要多个公共点提升距离计算精度时):
- 随机采样:直接从数据集中随机抽取k个样本点作为公共点,实现零额外运算,采样量足够时稳定性较强
- 分位数组合点:对每个特征维度分别计算指定分位数(如25%、50%、75%分位数),将不同维度的分位数组合为向量,即可得到多个不依赖聚类的公共点
- 最远点采样(FPS):先随机选取第一个点,后续每一步都选择与已选点集合的最小距离最大的样本点,迭代k次得到k个公共点,该方法得到的点覆盖全数据集的效果远好于随机采样,全程仅需计算样本间距离,无聚类相关运算。
二、效果优于普通算术质心的公共点方案
结合你用公共点做跨数据集距离计算、不共享原始数据的场景,以下几种统计量的表现普遍优于普通算术质心:
- 几何中位数:和算术质心最小化到所有点的距离平方和不同,几何中位数是最小化到所有点的距离之和的点,对异常值的抗干扰能力极强,数据集存在离群点时,用几何中位数做公共点的距离计算准确率会有明显提升
- 中值漂移收敛中心:通过迭代计算逐步收敛到样本分布的高密度区域中心,比几何中位数更贴合数据实际的密集分布区,不会被稀疏区域的样本拉偏,适合数据分布不均匀的场景
- 多稳健参照点组合:允许使用多个公共点的前提下,不要仅用单质心,可选取多个几何中位数/分位数点/最远点采样的点,将单个样本与所有公共点的成对距离拼接为向量后,再计算跨数据集的距离,精度会远高于单质心的计算结果,你可以根据精度需求调整公共点的数量k,平衡精度和计算量。
适配提示:如果要保证跨不同数据集的距离计算可比性,所有数据集的公共点计算规则必须完全统一,例如所有数据集都取几何中位数,或者都取相同k值、相同采样规则的多公共点集合,避免规则差异带来的计算偏差。
内容的提问来源于stack exchange,提问作者Shihab Ullah
相关产品推荐
相关产品推荐

