如何在PyTorch中缩减5D张量的通道数？

对于形状为[batch_size, feature_maps, num_frames, height, width]的5D张量，要在保持num_frames、height、width维度不变的前提下缩减特征图数量，最直接的方式是使用3D卷积（nn.Conv3d），采用1x1x1的卷积核：

self.channel_reduction = nn.Conv3d(
    in_channels=1024,
    out_channels=512,
    kernel_size=(1, 1, 1),
    stride=(1, 1, 1)
)

原理说明 #

• kernel_size=(1,1,1)意味着卷积操作不会对时间维度（num_frames）和空间维度（height、width）进行任何采样或变换，仅对通道维度做线性组合，从而实现通道数的缩减。
• 输入张量经过该层后，输出形状会变为[16, 512, 16, 56, 56]，完全符合需求。

替代方案（可选） #

如果不想用3D卷积，也可以通过重塑张量维度，用2D卷积实现：

# 先把时间维度和空间维度合并：[16, 1024, 16*56, 56]
x_reshaped = x.view(x.shape[0], x.shape[1], x.shape[2]*x.shape[3], x.shape[4])
# 用1x1的2D卷积缩减通道
conv2d = nn.Conv2d(1024, 512, kernel_size=1, stride=1)
x_reduced = conv2d(x_reshaped)
# 再把维度恢复回去：[16, 512, 16, 56, 56]
x_final = x_reduced.view(x.shape[0], 512, x.shape[2], x.shape[3], x.shape[4])

不过这种方式需要额外的维度重塑操作，不如直接用nn.Conv3d简洁直观。

内容的提问来源于stack exchange，提问作者dtr43