PyTorch Conv1D层输出维度正确但值重复的问题求助

问题描述 #

我有一个形状为(768, 8, 22)的PyTorch张量，已完成标准化处理。将其送入nn.Conv1d(input_channels=8, output_channels=1, kernel_size=3)卷积层后，输出维度符合预期，但所有元素均为相同数值，示例输出如下：

output = tensor(

[[[-0.1856, -0.1856, -0.1856, -0.1856, -0.1856, -0.1856, -0.1856,
      -0.1856, -0.1856, -0.1856, -0.1856, -0.1856, -0.1856, -0.1856,
      -0.1856, -0.1856, -0.1856, -0.1856, -0.1856, -0.1856]],
      ...
      [[-0.1856, -0.1856, -0.1856, -0.1856, -0.1856, -0.1856, -0.1856,
      -0.1856, -0.1856, -0.1856, -0.1856, -0.1856, -0.1856, -0.1856,
      -0.1856, -0.1856, -0.1856, -0.1856, -0.1856, -0.1856]]]

可能原因与解决方案 #

1. 卷积层参数初始化异常 #

如果卷积层的权重和偏置被意外初始化为同一个值，卷积计算后输出必然一致。

• 检查参数：打印卷积层的权重和偏置，确认是否所有元素相同：

  conv = nn.Conv1d(input_channels=8, output_channels=1, kernel_size=3)
  print("卷积权重:\n", conv.weight)
  print("卷积偏置:\n", conv.bias)
  

• 重新初始化：若参数确实同质化，手动重新初始化：

  # 用Kaiming正态分布初始化权重
  nn.init.kaiming_normal_(conv.weight, mode='fan_in', nonlinearity='linear')
  # 偏置初始化为0
  nn.init.zeros_(conv.bias)
  

2. 输入张量通道数据完全一致 #

如果输入的8个通道数据完全相同，卷积操作无法提取差异特征，输出自然全部相同。

• 验证输入：取单个样本检查各通道是否一致：

  sample = input_tensor[0]  # 形状(8,22)
  # 检查每个通道是否与第一个通道完全相同
  channel_same = torch.all(sample == sample[0], dim=1)
  print("各通道与首通道是否一致:", channel_same)
  

• 修复数据：若通道数据相同，回溯预处理流程，确保各通道保留独立特征。

3. 意外的参数共享或固定赋值 #

确认卷积层是否被重复复用，或者权重被代码中某处强制设置为固定值，导致所有计算使用相同参数。

内容的提问来源于stack exchange，提问作者FAZ