滤波器尺寸取Δ=0的卷积层等价于通道域密集层的证明及参数量求解

等价性核心逻辑 #

首先明确题目中Δ=0的定义：指卷积核的空间覆盖半径为0，即卷积运算过程中完全不聚合当前像素的邻域空间信息，所有计算都在单个像素的通道维度内完成。
这种配置下，卷积层彻底失去了传统卷积“局部空间感受野”的特性，不会在相邻像素之间传递信息，所有的线性变换逻辑都发生在通道维度上，和逐空间位置施加的通道域密集层没有本质区别。

等价性证明 #

把两种运算的逐点计算规则列出来对比即可完成验证：

• Δ=0配置下的卷积层计算
  对任意空间坐标(h, w)，输出的第j个通道值不会接收到邻域像素的输入，仅由当前位置的特征值计算，公式为：

  y_{h,w,j} = ∑_{i=1}^I (w_{i,j} * x_{h,w,i}) + b_j
  

  式中x_{h,w,i}是输入特征在(h,w)位置、第i个通道的取值，w_{i,j}是连接第i个输入通道和第j个输出通道的权重，b_j是第j个输出通道的偏置。
• 通道域常规密集层计算
  若在每个空间位置上单独施加密集层变换，所有位置共享同一套权重矩阵和偏置，那么对任意(h,w)位置的I维通道输入向量，输出第j个通道值的公式为：

  y_{h,w,j} = ∑_{i=1}^I (W_{i,j} * x_{h,w,i}) + b_j
  

两个公式的计算逻辑完全对齐：既没有跨空间位置的信息交互，权重又完全跨通道共享，每一步的取值、运算规则都没有数值差异，等价性自然成立。
这里需要注意和常规的全局密集层区分：常规密集层会把所有空间位置的特征展平成一维向量再做全连接，不同空间位置的特征会通过权重产生跨位置的交互，这种场景下的密集层和Δ=0的卷积层并不等价。

当前配置下的可训练参数量 #

因为该配置下卷积没有空间维度的权重，所有可训练参数都来自通道间的连接：

• 跨通道连接权重：输入通道数为I、输出通道数为J，对应参数量为I*J
• 输出通道偏置：每个输出通道对应1个偏置项，对应参数量为J
• 总可训练参数量为 J*(I + 1)

内容的提问来源于stack exchange，提问作者pengfei yao