如何确定可使Hessian矩阵对角化的变量替换?
嘿,你的思路其实已经走对了大半!让我们一步步拆解这个问题,结合你已经做的链式推导,来理清找到合适变量替换的方法。
首先回顾问题:我们有二元函数$f:\mathbb{R}^2 \rightarrow \mathbb{R}$,它的Hessian矩阵$H$是非对角的,想要找到变量替换$\mathbf{u}=[u(\mathbf{x}),v(\mathbf{x})]$,使得$\hat{f}(\mathbf{u})=f(\mathbf{x})$的Hessian$\hat{H}$是对角矩阵。
先从简单的线性变换说起
你假设变换的二阶偏导为0(也就是线性变换,$L_{ijk}=0$),得到$H=J^T\hat{H}J$,这个结论完全正确!
对于实对称的Hessian矩阵$H$(注意:二阶连续可导的函数,Hessian一定是实对称的),我们可以找到正交矩阵$P$(它的列是$H$的单位特征向量),使得$P^THP=\Lambda$,其中$\Lambda$是对角矩阵,对角元是$H$的特征值。
如果我们取线性变换$\mathbf{u}=PT\mathbf{x}$(或者$\mathbf{u}=PT(\mathbf{x}-\mathbf{x}_0)$,如果想针对某个点$\mathbf{x}_0$做变换),对应的Jacobi矩阵$J=P^T$,代入式子就能得到$\hat{H}=\Lambda$——完美对角化!
不过这个方法有个局限:
- 如果$f$是二次函数,$H$是常数矩阵,这个线性变换全局有效;
- 如果$f$是一般函数,$H$随$\mathbf{x}$变化,这个线性变换只能在某个固定点$\mathbf{x}_0$的邻域内局部有效,因为不同点的$H$特征向量可能不一样。
非线性变换与局部对角化:Morse引理的帮助
当我们允许非线性变换时,有个非常重要的定理能给我们信心:Morse引理。
它的内容是:如果$\mathbf{x}_0$是$f$的非退化临界点(也就是$H(\mathbf{x}_0)$可逆,没有零特征值),那么在$\mathbf{x}_0$的某个邻域内,存在光滑的变量替换$\mathbf{u}=\mathbf{u}(\mathbf{x})$,使得:
$$\hat{f}(\mathbf{u}) = f(\mathbf{x}_0) \pm u^2 \pm v^2$$
显然,这个$\hat{f}$的Hessian是对角矩阵(对角元为$\pm2,\pm2$)。
Morse引理是存在性定理,它告诉你这样的变换一定存在,但不一定直接给出构造方法。不过我们可以基于它的思路来构造:先做线性特征变换,再通过非线性调整消除高阶交叉项,最终得到对角化的Hessian。
从你的推导式出发,构造变换的具体思路
你已经推导出了关键的关系式:
$$H_{ij} = \sum_k \sum_l J_{ki} \hat{H}{kl} J{lj} + \sum_k L_{ijk}\partial_k f$$
我们的目标是让$\hat{H}{12}=\hat{H}{21}=0$,把这个条件代入非对角元($i=1,j=2$)的式子,得到:
$$H_{12} = (\partial_x u)\hat{H}{11}(\partial_y u) + (\partial_x v)\hat{H}{22}(\partial_y v) + (\partial_x\partial_y u)\partial_u f + (\partial_x\partial_y v)\partial_v f$$
要满足这个等式,我们可以分两种情况处理:
1. 临界点附近($\nabla f=0$)
这时候式子简化为线性变换的情况:$H_{12} = (\partial_x u)\hat{H}{11}(\partial_y u) + (\partial_x v)\hat{H}{22}(\partial_y v)$。我们只需要让$\nabla u$和$\nabla v$是$H$的特征向量(也就是Jacobi矩阵$J$的列是$H$的特征向量),就能让右边的交叉项为0,从而$\hat{H}$对角。
2. 非临界点($\nabla f \neq 0$)
这时候需要同时调整变换的一阶和二阶偏导:
- 首先让$\nabla u$和$\nabla v$是$H$的特征向量,保证$J^T\hat{H}J$的非对角部分尽可能简单;
- 然后通过调整$\partial_x\partial_y u$和$\partial_x\partial_y v$,让它们和$\partial_u f$、$\partial_v f$的乘积项抵消$H_{12}$的剩余部分,最终让$\hat{H}$的非对角元为0。
这个过程需要解偏微分方程来确定$u$和$v$,虽然复杂,但理论上在局部邻域内是可行的。
全局对角化的可能性
需要注意的是,全局对角化(整个定义域内都让$\hat{H}$对角)只有极少数函数能做到,比如那些可以写成$f(x,y)=g(h(x,y))+k(p(x,y))$的“可分离”函数,这时候取$u=h(x,y)$、$v=p(x,y)$就能让$\hat{f}(u,v)=g(u)+k(v)$,它的Hessian自然是对角的。对于一般函数,由于Hessian的特征向量随点变化,无法找到全局的光滑变换满足要求。
备注:内容来源于stack exchange,提问作者duc4rm3

