PyTorch与TensorFlow Conv2d随stride参数变化的输出差异原因咨询

问题核心并非stride的计算逻辑不同，而是两者对"same" padding的定义与实现存在本质差异，当stride≥2时这种差异会被放大，导致输出结果出现显著偏差。

1. stride=1时结果一致的原因 #

当stride=1时：

• PyTorch中padding=1（对应3x3卷积）会在输入的上下左右各补1个像素，保证输出尺寸与输入完全一致。
• TensorFlow的padding="same"此时也会自动补全对称的padding，让输出尺寸等于输入尺寸，两者的padding逻辑完全对齐，因此输出结果接近。

2. stride>1时差异的根源 #

当stride≥2时，两者的padding逻辑出现明显区别：

• PyTorch的固定对称padding：你设置的padding=1是固定在输入的上下左右各补1个像素，输出尺寸遵循公式：

  output_size = floor((input_size + 2*padding - kernel_size) / stride) + 1
  

  以输入尺寸为HxW为例，3x3卷积、stride=2、padding=1时，输出尺寸为floor((H+2-3)/2)+1 = floor((H-1)/2)+1。

• TensorFlow的"same"自动padding：TensorFlow的padding="same"会根据输入尺寸和stride动态计算padding量，目的是让输出尺寸等于ceil(input_size / stride)（即输入尺寸除以stride后向上取整）。为了达到这个目标，padding可能是不对称的（比如仅在右侧/下方补更多像素），而非像PyTorch那样强制对称补边。

这种padding方式的差异，会导致卷积核滑动时覆盖的输入区域完全不同，再加上你直接复用了PyTorch的预训练权重，最终输出的L2范数自然会出现极大差异。

解决方法 #

要让两者输出一致，TensorFlow不能直接使用padding="same"，需要手动设置与PyTorch完全匹配的对称padding：

• 对于你的例子（3x3卷积、stride=2），将TensorFlow的卷积层改为：

  tf.keras.layers.Conv2D(
      filters=32,
      kernel_size=(3, 3),
      strides=2,
      padding=(1, 1),  # 与PyTorch的padding=1对齐，对称补边
      use_bias=False
  )
  

  同时需要确保两者的输入尺寸、权重复制方式完全一致，这样就能得到匹配的输出结果。

内容的提问来源于stack exchange，提问作者ZombaSY