使用Kernel PCA与LLE降维时分配不同CPU核心数结果不一致怎么办

该问题的根源是浮点数运算的非关联性，和上层机器学习框架的实现无关：

• 浮点数的加法、乘法不满足严格结合律，不同的运算顺序会产生微小的精度差异。底层线性代数库（OpenBLAS/Intel MKL等）执行矩阵运算、特征分解等操作时，会根据当前可用的CPU核心数自动拆分计算任务、分配给不同核心并行计算，不同核心数对应不同的子任务拆分逻辑和结果累加顺序，最终输出的计算结果会存在微小的精度区别。
• KPCA、LLE的计算流程依赖大量核矩阵运算、特征分解/奇异值分解步骤，对浮点误差的敏感度极高，微小的精度差异会在计算过程中被逐级放大，最终得到完全不同的降维输出。而Isomap的核心步骤以邻接图构建、最短路径计算等离散运算为主，对浮点误差不敏感，因此不会出现该问题。
• 你设置的n_jobs仅控制Scikit-Learn上层任务的并行数，无法限制底层线性代数库的自动并行调度，因此无法解决该问题。同核心数下结果可复现、更换工具栈（numactl/R语言）仍出现相同问题的现象，也完全符合该底层原因的表现。

1. 固定底层线性代数库的线程数（首选方案） #

在你的run.py脚本最开头、导入任何第三方库之前，添加以下环境变量配置，固定线性代数库的可用线程数，所有调度场景下该数值保持一致即可：

import os
# 固定OpenBLAS线程数
os.environ["OPENBLAS_NUM_THREADS"] = "1"
# 固定Intel MKL线程数
os.environ["MKL_NUM_THREADS"] = "1"
# 固定OpenMP线程数
os.environ["OMP_NUM_THREADS"] = "1"

你也可以根据需要将线程数设置为大于1的固定值，只要所有CPU分配场景下该数值统一，就能保证运算顺序完全一致，输出结果可复现。

2. 关闭算法上层并行 #

如果完成第一步后仍存在差异，可以将KPCA、LLE初始化时的n_jobs参数设置为1，完全关闭Scikit-Learn层面的任务并行，避免上层调度带来的运算顺序差异。

3. 统一浮点精度（可选辅助方案） #

如果你的业务场景对精度要求不高，可以在降维计算完成后，将输出结果统一截断到固定小数位（例如保留8位小数），进一步消除微小精度差异对后续分类任务的影响。

内容的提问来源于stack exchange，提问作者pranay25