全零权重卷积自编码器未训练却精准完成异常检测问题问询

我用PyTorch实现了一个ConvAutoencoder卷积自编码器用于异常检测任务，发现一个诡异现象：把所有权重设为0、完全未经过训练的模型，居然能精准识别异常样本——异常样本的损失值远高于正常样本，完美完成检测任务。

模型代码 #

import torch
import torch.nn as nn
import torch.nn.functional as F

class ConvAutoencoder(nn.Module):
    def __init__(self):
        super(ConvAutoencoder, self).__init__()

         # Encoder
        self.conv1 = nn.Conv2d(in_channels=1, out_channels=32, kernel_size=3, padding=1)
        self.conv2 = nn.Conv2d(in_channels=32, out_channels=128, kernel_size=3, padding=1)
        self.pool = nn.MaxPool2d(kernel_size=1, stride=3)  # 缩减高宽

        # Decoder
        self.t_conv1 = nn.ConvTranspose2d(in_channels=128, out_channels=64, kernel_size=(2,3), stride=(1,3))
        self.t_conv2 = nn.ConvTranspose2d(in_channels=64, out_channels=1, kernel_size=2, stride=(2, 2))

    def forward(self, x):
        x = F.relu(self.conv1(x))
        x = self.pool(x)
        x = F.relu(self.conv2(x))
        x = self.pool(x)
        x = F.relu(self.t_conv1(x))
        x = self.t_conv2(x)

数据集与输入说明 #

数据集为含4个特征与异常标签的表格数据，输入样本是通过时间窗口构建的矩阵（已简化问题细节）。

损失计算代码 #

model = ConvAutoencoder().to(device)
model.apply(weights_init)  # weights_init为将权重设为0的初始化函数
outputs = model(images)
loss = criterion(outputs, images)
losses.append(loss.item())
losses_index.append([data, loss])

原因解析 #

• 零权重模型的输出特性：当所有卷积、转置卷积层权重全为0时，卷积运算结果仅为偏置值（无偏置则为0），经过ReLU激活后，编码器输出会全为0。解码器接收全0输入，最终重构输出也会是全0张量（或极小值）。
• 样本本身的数值分布差异：数据集中正常样本的整体数值大概率普遍偏低，而异常样本的数值（或波动幅度）明显更高。此时重构损失本质上等于输入样本自身的范数（比如L2损失就是输入元素平方和的均值）——数值高的异常样本损失自然更大，正常样本损失更小，形成了天然的异常区分边界。
• 时间窗口矩阵的放大效应：异常样本在时间窗口矩阵中的异常表现（比如突发峰值、大幅波动）会让矩阵的数值总和远高于正常样本，这种差异直接转化为损失值差异，无需模型学习任何特征就能区分。

验证建议 #

直接计算所有输入样本的自身范数（例如torch.norm(images, p=2, dim=(1,2,3))），对比该值的分布和模型输出的损失分布——若二者完全一致，即可印证上述结论。

内容的提问来源于stack exchange，提问作者PabloGS