使用Sklearn KMeans时触发OpenBLAS线程数超限错误求助

针对你遇到的OpenBLAS线程数超限、内存分配失败问题，结合你使用的版本（scikit-learn1.2.1、scipy1.10.1、numpy==1.24.2、Python 3.9.12），可以尝试以下方案：

• 提前设置环境变量（关键）
  不要在Python代码内部设置环境变量，因为numpy/scipy在代码执行前可能已经加载了OpenBLAS，此时设置的变量不会生效。正确做法是在启动Python脚本之前通过终端设置：

  • Linux/macOS：export OPENBLAS_NUM_THREADS=1 && export OMP_NUM_THREADS=1
  • Windows命令行：set OPENBLAS_NUM_THREADS=1 && set OMP_NUM_THREADS=1
    设置完成后再运行你的Python脚本。

• 强制KMeans使用单线程
  在KMeans初始化时显式指定n_jobs=1，从scikit-learn层面限制线程数，避免底层库自动开启多线程：

  kmeans = KMeans(init='k-means++', n_clusters=numClusters, max_iter=100, n_init='auto', n_jobs=1)
  

• 验证OpenBLAS配置是否生效
  在代码开头添加以下代码，确认OpenBLAS线程数设置是否被正确读取：

  import numpy as np
  print(np.__config__.show())
  

  查看输出中的OpenBLAS相关条目，确认线程数是否为1。如果依然显示多线程，说明环境变量设置时机不对，需回到第一步重新操作。

• 限制numpy全局线程数
  直接在numpy层面强制单线程，覆盖底层库的线程设置：

  import numpy as np
  np.config.set_num_threads(1)
  

• 调整KMeans参数降低内存消耗
  如果内存问题仍存在，可通过参数优化减少内存占用：

  1. 手动设置n_init为较小值（比如5），减少初始化聚类中心的次数：

     kmeans = KMeans(init='k-means++', n_clusters=numClusters, max_iter=100, n_init=5, n_jobs=1)
     

  2. 若数据集过大，改用MiniBatchKMeans分批处理数据，大幅降低内存压力：

     from sklearn.cluster import MiniBatchKMeans
     kmeans = MiniBatchKMeans(init='k-means++', n_clusters=numClusters, max_iter=100, n_init='auto', batch_size=1000)
     

内容的提问来源于stack exchange，提问作者P Ved