理解Caffe中卷积层深度：关于卷积核权重维度的疑问

嘿，作为Caffe新手碰到这个问题太正常啦，这其实是卷积层权重的核心结构特性导致的，我来给你掰扯清楚：

• 第一层的情况：你说第一层有64个7×7的特征图，提取单个滤波器权重是7×7矩阵。这说明你的输入数据是单通道的（比如灰度图像）。在Caffe里，卷积层的权重维度是(输出通道数, 输入通道数, 核高度, 核宽度)。第一层输入通道数是1，所以每个输出通道对应的滤波器就是1个7×7的核——这就是你看到单个滤波器是7×7矩阵的原因。

• 第二层的情况：第二层的输入通道数其实就是第一层的输出通道数（64个）！因为卷积层的输入是上一层的所有特征图。所以第二层每个输出通道对应的滤波器，需要和上一层的每一个输入通道都做卷积运算，也就是每个输出通道对应64个3×3的核（每个核对应一个输入通道）。这就是为什么你提取第二层任意一个滤波器时，会得到64个3×3矩阵的原因。

简单总结一下：卷积层的每个输出通道对应的滤波器，数量等于输入通道数，每个滤波器对应一个输入通道的卷积核。第一层输入通道是1，所以单个滤波器是1个7×7；第二层输入通道是64，单个滤波器就是64个3×3。

内容的提问来源于stack exchange，提问作者user3780043