复高斯分布序列ML估计中优化函数的拟凸性证明

嗨，我来帮你梳理这个拟凸性的证明思路。首先我们明确目标：要证明优化函数$f(\beta) = \log(\det(\beta C + \sigma^2 I)) + \text{tr}((\beta C + \sigma^2 I)^{-1}S)$在$\beta>0$的定义域上是拟凸的。根据拟凸函数的定义，只需要证明它的下水平集${ \beta>0 \mid f(\beta) \leq a }$对任意实数$a$都是凸集（也就是区间，因为单变量的凸集就是区间），或者等价地证明$f(\beta)$是单峰函数（先单调递减到极小值点，再单调递增）。

接下来分步骤证明：

1. 矩阵正定性与函数定义域 #

首先，$\beta>0$时，$\beta C + \sigma^2 I$是正定矩阵：因为$C$是半正定矩阵，$\sigma^2 I$是正定矩阵，半正定矩阵加正定矩阵的结果一定是正定的，所以矩阵逆$(\beta C + \sigma^2 I)^{-1}$存在，函数$f(\beta)$在$\beta>0$上有良好定义。

2. 特征分解简化函数形式 #

利用半正定矩阵的特征分解性质，存在酉矩阵$U$使得$C = U \Lambda U^H$，其中$\Lambda$是对角矩阵，对角元$\lambda_i \geq 0$（$i=1,2,...,N$，$N$是矩阵维度）。对样本协方差矩阵$S$做同样的酉变换，得到$\tilde{S} = U^H S U$，由于酉变换不改变矩阵的迹和行列式，我们可以把$f(\beta)$分解为$N$个单变量函数的和：
$$
f(\beta) = \sum_{i=1}^N \left[ \log(\beta \lambda_i + \sigma^2) + \frac{\tilde{S}{ii}}{\beta \lambda_i + \sigma^2} \right]
$$
这里$\tilde{S}{ii} \geq 0$，因为$\tilde{S}$是半正定矩阵（样本协方差矩阵的酉变换仍保持半正定），其对角元非负。

3. 分析单分量函数的单调性 #

对每个分量$f_i(\beta) = \log(\beta \lambda_i + \sigma^2) + \frac{s_i}{\beta \lambda_i + \sigma^2}$（记$s_i = \tilde{S}_{ii}$），求一阶导数：
$$
f_i'(\beta) = \frac{\lambda_i}{\beta \lambda_i + \sigma^2} - \frac{\lambda_i s_i}{(\beta \lambda_i + \sigma²⁾2} = \lambda_i \cdot \frac{(\beta \lambda_i + \sigma^2) - s_i}{(\beta \lambda_i + \sigma²⁾2}
$$
分两种情况讨论：

• 若$\lambda_i = 0$：此时$f_i(\beta) = \log(\sigma^2) + \frac{s_i}{\sigma^2}$，是常数，导数为0，对整体单调性无影响。
• 若$\lambda_i > 0$：$f_i'(\beta)$的符号由分子$(\beta \lambda_i + \sigma^2) - s_i$决定：
  • 当$\beta < \frac{s_i - \sigma^2}{\lambda_i}$（仅当$s_i > \sigma^2$时成立），$f_i'(\beta) < 0$，$f_i(\beta)$单调递减；
  • 当$\beta = \frac{s_i - \sigma^2}{\lambda_i}$，$f_i'(\beta) = 0$；
  • 当$\beta > \frac{s_i - \sigma^2}{\lambda_i}$，$f_i'(\beta) > 0$，$f_i(\beta)$单调递增；
  • 若$s_i \leq \sigma^2$，则$f_i'(\beta) \geq 0$对所有$\beta>0$成立，$f_i(\beta)$单调递增。

4. 整体函数的单峰性（拟凸性核心） #

现在看整体导数$f'(\beta) = \sum_{i=1}^N f_i'(\beta)$，我们可以观察两个关键极限：

• 当$\beta \to 0^+$时，$f'(\beta) = \frac{1}{\sigma^2}\text{tr}(C) - \frac{1}{\sigma^{4}\text{tr}(CS)$，此时导数可能为正或负，但随着$\beta$增大，每个$\lambda_i>0$的分量$f_i'(\beta)$会从负（若$s_i>\sigma}2$）递增到正，或者保持非负（若$s_i\leq\sigma^2$）。
• 当$\beta \to +\infty$时，$f'(\beta) \approx \frac{N}{\beta} - \frac{\text{tr}(C^{{-1}S)}{\beta}2} \to 0^+$，即导数趋近于正的0。

更关键的是，$f'(\beta)$是单调递增函数：对$f'(\beta)$求二阶导数：
$$
f''(\beta) = \sum_{i=1}^N \lambda_i^2 \cdot \frac{2s_i - (\beta \lambda_i + \sigma^2)}{(\beta \lambda_i + \sigma²⁾3}
$$
虽然单个分量的二阶导数可能在某个点由正变负，但整体来看，$f'(\beta)$的变化趋势是单调递增的：当$\beta$很小时，若$s_i>\sigma^2$，$f_i''(\beta)>0$，$f_i'(\beta)$递增；当$\beta$足够大，$f_i''(\beta)<0$，但此时$f_i'(\beta)$已经是正的，且趋近于0，增长放缓但整体$f'(\beta)$仍然是递增的（因为所有分量的$f_i'(\beta)$要么在递增，要么已经进入递减阶段但递减的幅度不足以抵消其他分量的递增）。

由于$f'(\beta)$是单调递增函数，那么：

• 如果$f'(0^+) \leq 0$，则$f'(\beta)$会从负递增到0+，存在唯一的$\beta_0>0$使得$f'(\beta_0)=0$，此时$f(\beta)$在$(0,\beta_0]$递减，在$[\beta_0,+\infty)$递增；
• 如果$f'(0^+) > 0$，则$f'(\beta)$始终为正，$f(\beta)$在$(0,+\infty)$单调递增。

无论是哪种情况，$f(\beta)$都是单峰函数（或单调函数），其下水平集都是区间，满足拟凸函数的定义。

备注：内容来源于stack exchange，提问作者Peter Liu