张量CP分解交替最小二乘法中λ向量与Λ矩阵的存储疑问

你的理解存在明显偏差，核心问题在于对λ向量维度和Λ矩阵规模的认知错误，以下是正确逻辑：

• 首先明确CP分解的标准形式：$\mathcal{X} \approx \sum_{k=1}^r \lambda_k \mathbf{a}_k \circ \mathbf{b}_k \circ \mathbf{c}_k$，其中$r$是张量的秩，$\lambda_k$是第$k$个秩分量的权重，$\mathbf{a}_k、\mathbf{b}_k、\mathbf{c}_k$分别是因子矩阵$A、B、C$的第$k$列，且都是单位长度向量。
• 归一化操作是按秩分量分组处理，而非单独处理所有因子矩阵的列：
  • 以你提到的3×3×3、秩$r=3$的张量为例，因子矩阵$A、B、C$都是3×3的矩阵，各有3列（对应3个秩分量）。
  • 伪代码中normalize columns of A(n) (storing norms as λ)这一步，是把$A$的每一列（共3列）做单位化，每列的原始范数存入λ向量的对应位置——此时λ是长度为3的向量，而非9个元素。
  • 在后续迭代中，当对$B、C$的列做归一化时，会将新得到的列范数乘到λ的对应元素上，最终λ的每个元素是对应秩分量的综合权重。
• 最终的Λ矩阵是$r×r$的对角矩阵（这里是3×3），对角线上的元素就是λ向量的3个值，每个值对应一个秩分量的权重，而非你认为的9个元素。

简单来说，λ的维度等于张量的秩$r$，Λ是$r$阶对角矩阵，二者只和秩分量的数量有关，和单因子矩阵的列数（同样等于$r$）对应，而非所有因子矩阵的列数总和。

内容的提问来源于stack exchange，提问作者apo