使用sklearn与sklearnex的SVC为何生成不同学习曲线？

基本情况 #

• 之前用sklearn.svm.SVC训练模型，因训练耗时较长，切换为scikit-learn-intelex优化版本
• 保持数据集、模型参数完全一致，却得到差异明显的五折学习曲线
• 参数配置：kernel='rbf'、C=1、gamma=1e-2、max_iter=3000、random_state=42、tol=1e-3、probability=True、cache_size=500
• 使用版本：scikit-learn 1.1.1，scikit-learn-intelex 2023.2.1
• 已查阅scikit-learn-intelex的GitHub Issues，未找到相关问题记录

可能的原因 #

• 底层数值计算差异：sklearnex基于Intel oneDAL重写了SVC的核心逻辑，核函数计算精度、迭代终止条件的判断细节与原生sklearn存在细微差别，在max_iter=3000的有限迭代次数下，模型收敛程度可能不一致
• 概率校准逻辑不同：开启probability=True时，两者采用的Platt缩放等概率校准实现细节有区别，这会直接影响评估指标的曲线走势
• 缓存机制细节差异：虽然设置了相同的cache_size，但两者缓存数据的分片、管理方式不同，可能间接影响训练过程中的中间结果

排查与解决方向 #

• 延长迭代次数验证：将max_iter设置为-1（即无迭代次数限制），观察两条曲线是否趋于一致，验证是否因迭代次数不足导致收敛不充分
• 关闭概率估计对比：暂时将probability=True改为False，仅对比模型的分类准确率曲线，排查是否由概率校准环节导致差异
• 彻底固定随机种子：除了SVC的random_state参数，还需固定numpy、Python标准库random模块的随机种子，确认sklearnex的随机数生成逻辑是否与原生库存在差异
• 提交官方Issue：若上述方法无法解决问题，整理好复现代码、脱敏后的数据集样本、曲线对比图，提交到scikit-learn-intelex的GitHub官方仓库，官方团队对这类数值差异问题的排查更专业

内容的提问来源于stack exchange，提问作者NiNian