关于Logistic回归与几何规划在凸优化问题层级中的归类咨询

先明确你提到的层级关系：从最具体到最宽泛的顺序是 Linear programs（线性规划）⊂ Quadratic programs（二次规划）⊂ Semi-definite programs（半定规划）⊂ Conic programs（锥规划）——每个更宽泛的类别包含其下的所有子类。

Logistic回归的位置 #

Logistic回归的核心优化问题是最小化凸的交叉熵损失函数，这个问题无法直接归入线性、二次或半定规划，但可以通过重写约束和目标，转化为二次锥规划（Second-Order Cone Program, SOCP）——而二次锥规划是锥规划（Conic programs）的典型子类之一。

简单来说，Logistic回归的优化问题满足锥规划的框架：目标函数是凸的，约束由凸锥（这里是二次锥）定义。所以它最终落在最宽泛的 Conic programs 层级中。

几何规划（Geometric Programming, GP）的位置 #

几何规划本身是一类特殊的凸优化问题（通过对数变量替换可转化为凸形式），它可以被表述为指数锥规划（Exponential Cone Program），而指数锥规划同样属于锥规划（Conic programs）的范畴。

和Logistic回归类似，几何规划的目标函数和约束形式（即使转化后）也不符合线性、二次或半定规划的严格要求，因此它也归属于 Conic programs 层级。

需要补充的是：虽然这两者都属于锥规划，但它们依赖的锥类型不同（二次锥 vs 指数锥），这也是它们无法归入更窄子类的原因——线性、二次、半定规划分别对应多面体锥、二次锥、半定锥，但Logistic回归和几何规划需要更特殊的锥结构。

内容的提问来源于stack exchange，提问作者ted