如何在代价函数中加入参数向量之间的相关性约束？

问题原因 #

1. 模型代码存在语法错误，导致参数更新逻辑异常 #

你提供的模型代码有两处致命语法问题，会直接导致线性层参数无法正常更新：

• super调用参数错误：你定义的类名为Model，但super(FeatExtractorGR, self).__init__()中传入的父类名不匹配，模型初始化直接失败。
• 缩进错误：self.feature_extractor的定义不在__init__方法内部，forward函数也没有缩进归属到Model类，导致这两部分逻辑不会被注册到模型中，线性层输出甚至不会进入计算图。

2. 正则项实现存在优化缺陷 #

你设计的点积正则项本身逻辑没问题，但使用了abs()操作，该函数在0点处梯度不连续，优化器很难收敛到点积为0的目标，这是正则项不生效的核心原因之一。

3. 其他潜在配置问题 #

• 线性层参数没有被加入优化器的更新列表，损失梯度无法回传更新权重。
• 计算正则项时对线性层权重做了detach()操作，截断了梯度回传路径。
• 正则项和其他损失不在同一个计算设备（CPU/GPU）上，导致梯度中断。

修复方案 #

第一步：修正模型代码语法 #

import torch
import torch.nn as nn

class Model(nn.Module):
    def __init__(self, dim_in, lambda_=.3):
        # 修正super的类名参数
        super(Model, self).__init__()
        '''The linear transform layer'''
        self.lt = nn.Linear(in_features = dim_in, out_features = 10, bias=True)
        # 修正缩进，将特征提取器定义放到__init__内部
        '''The encoder'''
        self.feature_extractor = nn.Sequential(
            #nn.Linear(in_features = 10, out_features = 30, bias=True),
            nn.BatchNorm1d(10),
            nn.ReLU(),
            nn.Linear(in_features = 10, out_features = 20, bias=True),
            nn.BatchNorm1d(20),
            nn.ReLU(),
            nn.Linear(in_features = 20, out_features = 10, bias=True),
            nn.BatchNorm1d(10),
            nn.ReLU()
        )
    # 修正缩进，将forward方法归属到Model类
    def forward(self, x):
        transformed = self.lt(x)
        return self.feature_extractor(transformed)

第二步：替换为更稳定的正交正则实现 #

不要使用abs()计算损失，改用平方误差或者Frobenius范数实现，梯度更平滑更容易收敛：

# 取线性层权重，shape为(out_features, in_features)
weight_lt = model.lt.weight
# 实现1：平方点积损失，和你原逻辑兼容
prod_matrix = torch.tensordot(weight_lt, weight_lt, dims=([1],[1]))
dotprod = (prod_matrix ** 2).fill_diagonal_(0).sum() / 2

# 实现2：业界常用的Frobenius范数正交损失，更稳定
# ortho_loss = torch.norm(weight_lt @ weight_lt.T - torch.eye(weight_lt.shape[0], device=weight_lt.device), p='fro')

loss = other_losses + dotprod * weight

第三步：验证配置正确性 #

• 确认优化器初始化时传入了全部模型参数：optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)
• 测试阶段可以先冻结特征提取器的参数，只更新线性层，快速验证正则项是否生效：

  for param in model.feature_extractor.parameters():
      param.requires_grad = False
  

• 确认所有张量都在同一个设备上，没有跨设备计算的问题。

内容的提问来源于stack exchange，提问作者Rakib