在近似数据的连通子流形上施加有限等距变换群不变性的技术问询

DevOps 小满

2026-4-16

先把我的问题背景和需求掰扯清楚，省得大家理解偏了：

手里有一堆固定尺寸$m×n$的灰度图像，把它们转成$\mathbb{R}^{m×n}$空间里的向量（每个分量对应像素强度），凑成数据集$\mathcal{S}$；
用机器学习模型拟合出了一个连通子流形$\mathcal{M} \subset \mathbb{R}^{m×n}$，这个$\mathcal{M}$包含所有图像数据。用$\mathcal{M}$上的测地距离算图像相似度，确实比欧氏距离靠谱多了——前提是$\mathcal{M}$选得对路子；
现在卡壳的地方是：我得让这个拟合出来的$\mathcal{M}$满足有限等距变换群$G$的不变性，$G$是$\mathbb{R}^{m×n}$上的有限等距群。说白了就是，随便拿$G$里的一个变换$g$，再随便拿$\mathcal{M}$里的一个点$x$，$g(x)$必须还在$\mathcal{M}$里；而且测地距离也得跟着不变：$d_{\mathcal{M}}(g(x),g(y))=d_{\mathcal{M}}(x,y)$对所有$x,y∈\mathcal{M}$和$g∈G$都得成立。

我现在想找的是：有没有现成的方法，或者能改造现有算法的思路，把这种群不变性给加到流形拟合的过程里？不管是经典的子流形学习算法（比如LLE、Isomap），还是深度学习那套，都行。

做过一阵子几何约束的流形学习，给你几个实际能用的思路，避免踩我之前的坑：

这是最不用动脑子的办法，效果还稳定：

对每个数据点$x∈\mathcal{S}$，生成它在$G$作用下的所有轨道点（就是所有$g(x)$，$g$跑遍$G$），然后把这些轨道点求平均得到$\bar{x}$；
用所有$\bar{x}$组成新的数据集$\bar{\mathcal{S}}$，直接扔给Isomap、LLE这些经典算法去拟合子流形$\bar{\mathcal{M}}$；
最后把$\mathcal{M}$扩展成$G$不变的：$\mathcal{M} = {g(\bar{x}) | \bar{x}∈\bar{\mathcal{M}}, g∈G}$。
优点是完全不用改算法，上手快；缺点是如果$G$的元素多，数据量会炸，而且可能丢点细节——但如果群不变性是硬需求，这个取舍很值。

针对Isomap、LLE这类算法，可以直接修改它们的核心步骤：

Isomap改造：把邻域定义成$G$不变的——比如$x$的邻域不仅包含原始的$k$近邻，还要包含这些近邻在$G$作用下的所有轨道点；或者在计算测地距离时，强制加入$d(x,y)=d(g(x),g(y))$的约束，把它嵌到优化问题里；
LLE改造：在学习权重矩阵的时候，要求$W(g(x),g(y))=W(x,y)$，这样重构误差的优化过程会自动满足群不变性，拟合出的流形自然也符合要求。

如果是用深度学习（比如自编码器、生成模型）来拟合流形，直接上群等变神经网络就完事儿：

等变网络的核心就是每一层都满足$g(f(x))=f(g(x))$，所以只要编码器是$G$等变的，编码器的隐空间对应的流形，解码后得到的$\mathcal{M}$肯定是$G$不变的；
具体操作的话，把自编码器的编码器和解码器都做成$G$等变的，训练出来的隐流形的测地距离（用隐空间欧氏距离近似的话）也会自动满足不变性；
额外加个小技巧：损失函数里加一项「轨道一致性损失」，比如对每个$x$，算$||x - \text{平均}_{g∈G} \text{解码器}(\text{编码器}(g(x)))||²$，强制模型把同一个轨道的点映射到隐空间的同一个位置（或轨道）。

如果懂点几何，可以从群作用的角度直接构造：

先确认$G$真的是$\mathbb{R}^{m×n}$的等距群，比如平移、旋转、翻转都是，但缩放不是，别搞混了；
如果$G$的元素多，预处理的方法会让数据量暴增，这时候用等变网络效率高多了；
测地距离的不变性其实是流形$G$不变性的自然结果——只要$\mathcal{M}$是$G$不变的，而且$G$在$\mathcal{M}$上的限制是等距，测地距离自动就不变，不用单独加这个约束。

备注：内容来源于stack exchange，提问作者57Jimmy