PyTorch模型输出秩异常：float32与float64精度差异及优化咨询

问题现象 #

基于PyTorch构建输入维度6、输出维度150的DNN，权重与偏置均随机初始化。理论上，输入X_in=torch.randn(6000, 6)时，模型输出model_out.shape应为(6000, 150)，秩应为150，但实际测试结果不符。

float32测试代码 #

import torch
import torch.nn as nn

torch.manual_seed(923) # 确保结果可复现

class MyDNN(nn.Module):
    def __init__(self):
        super(MyDNN, self).__init__()
        # 层0
        self.linear_0 = nn.Linear(6, 150)
        self.activ_0 = nn.Tanh()
        # 层1
        self.linear_1 = nn.Linear(150, 150)
        self.activ_1 = nn.Tanh()
        # 层2
        self.linear_2 = nn.Linear(150, 150)
        self.activ_2 = nn.Tanh()
        # 层3
        self.linear_3 = nn.Linear(150, 150)
        self.activ_3 = nn.Tanh()

    def forward(self, x):
        out = self.activ_0(self.linear_0(x)) # 层0输出
        out = self.activ_1(self.linear_1(out)) # 层1输出
        out = self.activ_2(self.linear_2(out)) # 层2输出
        out = self.activ_3(self.linear_3(out)) # 层3输出
        return out

model = MyDNN()
X_in = torch.randn(6000, 6, dtype=torch.float32)
with torch.no_grad():
    model_out = model(X_in)
print(f'model_out rank = {torch.linalg.matrix_rank(model_out)}')

运行结果：

model_out rank = 115

改用float64后问题解决：

float64测试代码 #

model_64 = MyDNN()
model_64.double()
X_in_64 = torch.randn(6000, 6, dtype=torch.float64)
with torch.no_grad():
    model_64_out = model_64(X_in_64)
print(f'model_64_out rank = {torch.linalg.matrix_rank(model_64_out)}')

运行结果：

model_64_out rank = 150

疑问 #

1. 为何会出现该现象？float32精度足够，但用自有训练数据时，即使mini_batch_size=10（输出shape=(10,150)），输出秩仍小于10；
2. 双精度虽能解决问题，但训练速度大幅降低，且Mac M1 Pro GPU仅支持float32，有没有其他解决方案？

解答 #

问题1：float32下输出秩不足的原因 #

这是数值精度误差累积与Tanh激活函数的饱和特性共同作用的结果：

• 多层线性变换会放大float32的数值误差：float32仅约7位有效位数，经过4层矩阵乘法后，误差不断累积，导致理论上线性无关的列在数值计算中变得近似相关，被torch.linalg.matrix_rank判定为秩损失。
• Tanh的饱和特性加剧信息损失：当输入绝对值较大时，Tanh输出趋近于±1，进入梯度接近0的饱和区，随机初始化的权重容易让部分神经元进入该状态，输出变得高度相似，进一步降低输出矩阵的秩。
• 小batch场景下误差影响更显著：当batch size=10时，输出矩阵行数远小于列数（10 vs 150），原本理论秩上限为10，float32的数值误差会让实际秩进一步低于这个上限，少量样本的输出更容易因精度问题出现线性相关。

问题2：替代解决方案（无需切换float64） #

针对你的场景，可尝试以下优化方向：

1. 调整初始化策略
   使用适配Tanh的初始化方法（如nn.init.xavier_normal_），避免神经元过早进入饱和区，减少误差累积：

   def __init__(self):
       super(MyDNN, self).__init__()
       self.linear_0 = nn.Linear(6, 150)
       nn.init.xavier_normal_(self.linear_0.weight)
       self.activ_0 = nn.Tanh()
       # 其他层同理执行初始化
   

2. 替换非饱和激活函数
   用ReLU、LeakyReLU替代Tanh，这类函数不会因输入过大饱和，能减少数值信息损失，缓解秩降低问题。
3. 加入层归一化或减少网络深度
   层归一化（nn.LayerNorm）可稳定每层输入分布，减少数值波动；减少网络层数（如从4层改为2层）也能降低误差累积的程度。
4. 调整矩阵秩计算的容差
   torch.linalg.matrix_rank默认容差基于机器epsilon，手动设置更大容差可避免将微小误差导致的近似相关列判定为无效：

   # 针对float32手动设置容差
   rank = torch.linalg.matrix_rank(model_out, tol=1e-4)
   

   注意：此方法仅调整秩的判定标准，未解决根本数值问题，适合仅评估秩的场景。
5. 混合精度训练
   利用PyTorch的torch.amp.autocast（MPS后端支持），训练时大部分用float32，仅在误差易累积的层临时切换为float64，平衡精度与速度。

内容的提问来源于stack exchange，提问作者HelloKT