两类仅错分权重不同的SVM优化问题的解的关系探究及高效求解问询
嘿，这个问题挺有实际价值的——我之前在做带样本权重的SVM变种优化时，刚好琢磨过类似的解关联问题，咱们一步步拆解来梳理清楚：
先明确两个问题的核心结构
首先把两个优化问题的数学形式再清晰写出来（方便对比）：
问题1（已知解的基准SVM）
$$
\min_{w,b,\xi_i} \frac{1}{2} |w|^2 + C \sum_{i=1}^n a_i \xi_i
\quad
\text{subject to}:
\quad
y_i (w^T x_i + b) \ge 1 - \xi_i, \quad \xi_i \geq 0 \quad (i=1,2,...,n)
$$
问题2（待高效求解的变种SVM）
$$
\min_{\bar{w},\bar{b},\bar{\xi}i} \frac{1}{2} |\bar{w}|^2 + C \sum{i=1}^n \zeta_i a_i \bar{\xi}_i
\quad \text{subject to:}
\quad
y_i (\bar{w}^T x_i + \bar{b}) \ge 1 - \bar{\xi}_i, \quad \bar{\xi}_i \geq 0 \quad (i=1,2,...,n)
$$
其中$\zeta\ge 0$是给定的全局缩放系数，我这里按你公式里的$\zeta_i$形式统一表述，本质是样本错分惩罚的权重缩放项。
从对偶问题切入找关联（SVM的核心分析思路）
SVM的原问题和解的关联，最直接的突破口是对偶问题——因为原问题的解和对偶问题的拉格朗日乘子（$\alpha_i$）是通过KKT条件严格绑定的。
问题1的对偶问题推导
构造拉格朗日函数并对原变量求偏导置零后，能得到问题1的对偶形式：
$$
\max_{\alpha_i} \sum_{i=1}^n \alpha_i - \frac{1}{2}\sum_{i,j=1}^n \alpha_i\alpha_j y_i y_j x_i^T x_j
\quad \text{subject to}:
\quad
\sum_{i=1}^n \alpha_i y_i =0, \quad 0\le\alpha_i\le C a_i \quad (i=1,2,...,n)
$$
这里的$\alpha_i$就是拉格朗日乘子，最优解$\alpha_i*$对应原问题的支持向量（$\alpha_i*>0$的样本就是支持向量）。
问题2的对偶问题推导
用完全相同的方法推导问题2的对偶形式，你会发现目标函数和问题1完全一致，唯一的差异是拉格朗日乘子的约束上界：
$$
\max_{\bar{\alpha}i} \sum{i=1}^n \bar{\alpha}i - \frac{1}{2}\sum{i,j=1}^n \bar{\alpha}_i\bar{\alpha}j y_i y_j x_i^T x_j
\quad \text{subject to}:
\quad
\sum{i=1}^n \bar{\alpha}_i y_i =0, \quad 0\le\bar{\alpha}_i\le C \zeta_i a_i \quad (i=1,2,...,n)
$$
基于原问题解的高效求解思路
现在核心差异已经明确：两个问题的对偶问题仅约束上界不同，目标函数完全一致，基于这个结论，我们可以分场景给出高效求解的方法：
场景1：$\zeta$是全局常数（所有样本缩放系数相同）
这种情况最简单，相当于把所有样本的错分惩罚整体缩放了$\zeta$倍。我们可以做变量替换$\bar{\alpha}_i = \zeta \cdot \alpha_i'$，代入问题2的对偶问题后，会发现它等价于惩罚参数为$C\zeta$的问题1变种。
如果已经有了问题1的最优解$\alpha^*$，我们不需要从头训练：
- 当$\zeta=1$：两个问题完全等价，解直接复用；
- 当$\zeta\neq1$：线性SVM的支持向量集合随惩罚参数的变化是单调的，我们可以用增量调整法：基于原问题的支持向量，仅调整那些因惩罚缩放而改变约束状态的样本的$\alpha_i$值，就能快速得到新的最优解，比重新训练快至少一个数量级。
场景2：$\zeta_i$是样本独立的缩放系数（每个样本缩放不同）
这种情况没有通用的闭式转换公式，但我们可以利用原问题的解大幅加速迭代求解：
- 初始化迭代求解器：把问题1的最优$\alpha^*$作为问题2对偶求解器（比如SMO算法）的初始值。因为两个问题的目标函数完全一致，初始值已经非常接近最优解，迭代次数会从几百次降到几十次甚至几次；
- 缩小优化样本范围：问题1的支持向量（$\alpha_i^*>0$的样本）大概率也是问题2的支持向量候选（尤其是$\zeta_i$和1相差不大时）。我们可以先仅对这些支持向量进行优化，完成后再验证非支持向量是否需要调整，这样能把优化的样本量从$n$降到支持向量的数量（通常远小于$n$）。
目前的局限性
遗憾的是，除非是上述的全局缩放场景，否则我们没法直接从问题1的解推导出问题2的闭式解——因为每个样本的惩罚缩放会独立改变对偶约束的边界，进而影响支持向量的集合和最优乘子的分布。但上面提到的工程化加速方法，已经能满足“高效求解”的需求了。
备注：内容来源于stack exchange，提问作者Sam
