CP Viton模块中torch.bmm矩阵相乘计算特征相关性相关疑问

涉及代码 #

feature_A = feature_A.transpose(2,3).contiguous().view(b,c,h*w)
feature_B = feature_B.view(b,c,h*w).transpose(1,2)

# perform matrix mult.
feature_mul = torch.bmm(feature_B,feature_A)
print(feature_mul.size()) #torch.Size([4, 192, 192])

问题1：为什么调整特征到[b, h*w, h*w]维度运算 #

首先明确变换后的特征维度：设空间点总数N = h * w，变换后feature_A的形状为(b, c, N)，feature_B的形状为(b, N, c)。
torch.bmm为批量矩阵乘法，运算规则为(b, n, m) × (b, m, p) = (b, n, p)，因此得到(b, N, N)的输出是该运算的必然结果。
调整到该维度的核心目的是一次性计算两个特征图所有空间位置两两之间的关联值。在CP-Viton的业务逻辑中，这个关联矩阵会用来匹配服装特征和人体特征的对应位置，是后续生成扭曲对齐后的服装特征的核心依据，批量矩阵运算的效率也远高于逐点计算关联值。 #

问题2：矩阵乘法计算特征相关性的原理 #

该操作的核心逻辑基于向量点积的几何意义：两个同维度向量的点积结果可以直接衡量向量的相似度（相关性）：两个向量特征分布越相似、方向越接近，点积结果越大；特征完全无关（向量正交）时点积为0；特征相反时点积为负。
这里的矩阵乘法本质是批量计算所有空间点对的特征向量点积：输出矩阵的(i, j)位置的数值，就是feature_B第i个空间位置的c维特征向量，与feature_A第j个空间位置的c维特征向量的点积结果，自然就代表了两个位置特征的相关性。这个逻辑也是目前绝大多数注意力机制计算注意力分数的核心实现。 #

内容的提问来源于stack exchange，提问作者최원준