KPrototypes聚类反复初始化质心与簇 无法进入迭代问题咨询

问题1：该问题是否由数据集规模过大导致？ #

数据集规模过大是核心诱因，但不是唯一可能原因。
你当前使用的数据集规模为1870995行、28列，K-Prototype算法需要同时计算数值特征的欧氏距离、分类特征的匹配距离，同等数据量下计算量是K-Means的3~5倍，单次全量初始化的耗时本身就很长。
日志反复输出初始化质心、初始化簇的原因，是算法默认初始化逻辑在选完初始质心后做簇分配时，如果检测到空簇、质心无效的情况，会自动丢弃当前初始化结果重新跑初始化流程。近200万行的数据规模下，单次初始化重试可能就要跑十几分钟，连续重试就会长时间停在初始化阶段，看不到后续迭代日志。
除了规模问题，如果你没有正确通过categorical参数传入分类型特征的列索引，导致距离计算逻辑异常，也会触发初始化反复重试，这个可以优先排查。

问题2：该现象是否为正常运行表现，是否需要继续等待程序执行完成？ #

分两种情况判断：

• 如果你观察到进程的CPU利用率持续处于高位、内存占用稳定无下跌，属于初始化重试的正常表现，但不建议继续等待。就算某次初始化成功跳过这个阶段，后续20轮迭代每一轮都要做全量样本的距离计算，总耗时可能达到数十小时，普通消费级硬件大概率跑不完，还容易触发内存溢出。
• 如果观察到CPU利用率掉到极低水平、内存占用没有波动，说明初始化逻辑触发了死循环，属于异常情况，直接终止进程即可，等待没有意义。

快速验证方法 #

可以先抽取1万行左右的小样本，用完全相同的参数运行，如果代码能正常输出迭代进度日志，就说明你的代码写法、参数传递没有问题，卡壳完全是数据规模导致的。

针对大规模数据的优化建议 #

• 初始化方法替换为init='Cao'，相比默认的Huang初始化，对大规模数据集适配性更好，初始化触发空簇重试的概率低很多
• 不要直接在全量近200万行数据上从头跑初始化，可以先采1%~5%的样本预训练得到初始质心，把预训练质心作为初始值传入算法，能把初始化耗时压缩90%以上
• 运行前务必确认categorical参数传入了所有分类型特征的列索引，避免参数错误导致的无效计算

附运行日志 #

Initialization method and algorithm are deterministic. Setting n_init to 1.
Init: initializing centroids
Init: initializing clusters
Init: initializing centroids
Init: initializing clusters
Init: initializing centroids
Init: initializing clusters
Init: initializing centroids
Init: initializing clusters
Init: initializing centroids
Init: initializing clusters
Init: initializing centroids
Init: initializing clusters
Init: initializing centroids
Init: initializing clusters
Init: initializing centroids
Init: initializing clusters
Init: initializing centroids
Init: initializing clusters
Init: initializing centroids
Init: initializing clusters

内容的提问来源于stack exchange，提问作者samts