在MNIST数据集训练SVM时，如何寻找最难分类的支持向量？

嗨，这个问题问到点子上了！刚好我之前在做MNIST二分类任务时也研究过这个，来给你一步步讲清楚～

首先，如果你用的是scikit-learn的SVC模型（这也是处理这类任务最常用的工具），其实不需要自己从头实现，利用模型自带的属性和方法就能轻松搞定。

用scikit-learn快速实现的方法 #

SVM中，最接近分隔超平面的样本，对应的决策函数输出绝对值最小——因为决策函数的本质是w·x + b，它的绝对值大小直接反映了样本到超平面的相对距离（绝对值越小，距离越近）。而支持向量可以直接从模型中提取，具体步骤如下：

1. 提取所有支持向量，并计算它们的决策函数值

   # 假设你的训练好的SVM模型叫clf
   # 获取所有支持向量
   support_vectors = clf.support_vectors_
   # 计算每个支持向量的决策函数输出
   sv_decision_vals = clf.decision_function(support_vectors)
   

2. 找出绝对值最小的决策值对应的支持向量

   import numpy as np
   
   # 计算决策值的绝对值
   abs_decision = np.abs(sv_decision_vals)
   # 找到最小绝对值的索引
   min_abs_val = np.min(abs_decision)
   closest_sv_indices = np.where(abs_decision == min_abs_val)[0]
   # 获取最接近超平面的支持向量
   closest_support_vectors = support_vectors[closest_sv_indices]
   

3. （可选）获取这些支持向量对应的原始标签
   如果想知道这些最难分类的样本原本是哪个数字，可以通过模型的support_属性获取它们在训练集中的原始索引：

   # 假设你的训练集特征是X_train，标签是y_train
   sv_original_indices = clf.support_
   closest_sv_labels = y_train[sv_original_indices[closest_sv_indices]]
   

如果要手动实现的核心逻辑 #

要是你不用scikit-learn，想自己实现这个逻辑，核心思路是：

• 对于核SVM，我们没法直接计算特征空间中的超平面参数w（因为核函数映射到了高维甚至无穷维空间），所以最实用的方法还是通过决策函数值的绝对值来判断——这和上面的原理一致。
• 如果你是硬间隔SVM，那么所有支持向量的决策函数绝对值都是1，但软间隔下（也就是你用了C=10的情况），部分支持向量的决策值绝对值会小于1，这些就是离超平面更近的样本。

简单说，不管用不用工具库，核心都是找支持向量中决策函数输出绝对值最小的那些，它们就是最难分类、最接近超平面的样本。

内容的提问来源于stack exchange，提问作者thegreatcoder