问询含a=inv(c)约束的迭代优化算法的名称、定义及参考

问题描述 #

假设我们可用两个公式描述某问题：f(a,b) 和 g(b,c)，其中a、b、c为未知量，且满足约束条件a=inv(c)。采用如下优化算法求解：

• 随机初始化a，记为old-a
• 求解f(old-a,b)，得到b
• 将b代入g(b,c)，得到c
• 得到a的近似值：new-a = inv(c)
• 令old-a = new-a，返回第一步，直至误差err=(new-a - old-a)<epsilon

请问该优化方法的具体名称是什么？猜测它可能属于多目标优化、目标规划、某种线性规划或链式优化，但需要该优化问题或其子类的确切名称、准确定义；若属于线性规划（LP）子类，还需告知子类名称及相关参考书籍或论文。

答案解析 #

这个算法属于交替迭代法（Alternating Iteration Method），更具体来说是**块坐标下降法（Block Coordinate Descent, BCD）**的一种变体，结合迭代逻辑来看，块坐标下降法的匹配度最高：

准确定义 #

块坐标下降法是一种迭代优化算法，它将优化变量划分为多个不相交的块（块可以是单个变量或一组变量），在每一轮迭代中，固定其他所有块的变量值，仅对当前块的变量进行优化，循环遍历所有变量块直至收敛。
在你的场景中，变量被划分为{a}和{b,c}两个块：

1. 固定a（old-a），求解关于b的f(old-a,b)得到最优b；
2. 固定b，求解关于c的g(b,c)得到最优c，再通过约束a=inv(c)更新a；
3. 重复上述过程直至收敛。

与你猜测类别的区别 #

• 不属于多目标优化：多目标优化需要同时优化多个冲突的目标函数，而你的场景是通过迭代满足约束、求解最优解，仅隐含单目标（如最小化收敛误差）。
• 不属于线性规划（LP）子类：线性规划要求目标函数和约束均为线性，而你的f(a,b)、g(b,c)以及inv(c)无明确线性特征，且该迭代方法是通用优化框架，不局限于LP。
• “链式优化”并非标准术语，你的算法本质是交替迭代的块优化逻辑。

参考资料 #

• 《Numerical Optimization》（作者：Jorge Nocedal、Stephen J. Wright）：书中详细介绍了块坐标下降法的收敛性、适用场景及变体。
• 论文《Block Coordinate Descent Methods for Regularized Multiconvex Optimization with Applications to Nonnegative Tensor Factorization and Completion》：深入探讨了块坐标下降法在多凸优化问题中的应用，对你的场景有参考价值。

内容的提问来源于stack exchange，提问作者morteza