全局一致性优化中Lagrange乘子的相关技术问题问询
全局一致性优化中Lagrange乘子的相关技术问题问询
先来梳理下我遇到的这个凸优化问题背景:
我们有如下凸优化问题:
$$\text{minimize} ~ \sum_{i=1}^N f_i(x) ~ \text{ s.t. } ~ x \in X,$$
其中$X$是一个$m$维凸集,每个$f_i$都是凸函数。
我们可以把它改写为如下形式:
$$\text{minimize} ~ \sum_{i=1}^N f_i(x_i) ~ \text{ s.t. } ~ x_i \in X ~ \text{ and } ~ x_i = z ~\forall i.$$
这就是全局一致性问题(参考《Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers》的第7章)。
对应的部分增广拉格朗日函数为:
$$L_\rho(x, z, y) = \sum_{i=1}^N\left( f_i(x_i) + y_i^T (x_i - z) + \rho/2 \Vert x_i - z \Vert_2^2 \right).$$
假设$(x^, z^, y*)$是这个问题的最优解,我们已经知道对所有$i$都有$x_i* = z^*$。
现在我有几个疑问想请教:
- 是不是一定有$y_i^* = 0_m$?
- 如果不是的话,能不能证明$\sum_i y_i^* = 0_m$?另外,当$X = { x \in [0, 1]^m : \Vert x \Vert_1 \le 1}$时,关于$\Vert y_i^* \Vert_2$我们能得出什么结论?
备注:内容来源于stack exchange,提问作者smz
相关产品推荐
相关产品推荐

