如何用等价Conv2d层替换指定参数的AvgPool2d层？

结论：直接替换成默认初始化的Conv2d不能得到完全相同的输出，必须手动初始化Conv2d的权重为平均池化对应的权重才行。

核心原因 #

• nn.AvgPool2d(kernel_size=(4,3), stride=(4,3))的计算逻辑是：对每个输入通道，在每个(4,3)的窗口内计算所有元素的平均值，通道之间独立计算。
• 你现在写的nn.Conv2d(32,32,(4,3),stride=(4,3),bias=False)，默认权重是随机初始化的，卷积计算是窗口内元素和权重逐元素相乘后求和，和平均池化的计算逻辑完全不同，输出自然不一样。

如何实现等价替换 #

要让Conv2d和AvgPool2d输出完全一致，需要把Conv2d的权重初始化为每个kernel内的元素都是1/(4*3)=1/12，并且保证每个输出通道只对应同一个输入通道的卷积（即权重的weight[i,j,:,:]只有当i=j时为1/12，其余为0）——这其实就是做通道独立的平均卷积，和AvgPool2d的通道独立计算逻辑完全匹配。

具体代码实现 #

import torch
import torch.nn as nn
import torch.nn.init as init

# 定义Conv2d层
self.pool = nn.Conv2d(32, 32, kernel_size=(4,3), stride=(4,3), bias=False)

# 手动初始化权重：每个输出通道i对应的输入通道i的kernel设为1/12，其他通道权重为0
with torch.no_grad():
    for i in range(32):
        # 第i个输出通道只对第i个输入通道做平均卷积
        init.constant_(self.pool.weight[i, i, :, :], 1.0 / (4*3))
        # 其他输入通道的权重保持0（默认初始化就是0，可省略，但明确写出更清晰）
        for j in range(32):
            if j != i:
                init.constant_(self.pool.weight[i, j, :, :], 0.0)

验证说明 #

你提到的输入尺寸(1,32,129,40)，PyTorch默认ceil_mode=False，输出尺寸计算如下：

• 高度方向：floor((129-4)/4 +1) = floor(31.25 +1)=32
• 宽度方向：floor((40-3)/3 +1)=floor(12.333+1)=13
  所有窗口都是完整的(4,3)大小，没有元素截断，此时只要权重初始化正确，Conv2d的输出和AvgPool2d的输出会完全一致。

内容的提问来源于stack exchange，提问作者user_9