仅由卷积层构成的卷积神经网络（CNN）是连续函数吗？转置卷积呢？

仅由卷积层构成的卷积神经网络（Convolutional Neural Network）架构是否属于连续函数？我直觉上认为答案是肯定的，因为据我所知卷积（convolution）运算本身是连续的，但我是否遗漏了什么要点？另外我还想了解，转置卷积（transpose convolution）是否也符合该规律？

纯卷积架构的连续性判断 #

你的直觉是正确的，仅由标准卷积层构成的卷积神经网络属于连续函数，核心逻辑如下：

• 标准卷积运算本身是线性运算，而所有线性运算天然满足连续性要求
• 连续函数的多层复合仍然是连续函数，因此堆叠任意层卷积得到的整个网络仍然是连续映射

你可能需要注意几个容易混淆的边界点：

• 上述结论的前提是你的「卷积层」为仅包含滑动卷积计算的裸层，没有叠加非连续操作。如果工程实现中卷积层隐含加入了量化截断、离散取值等自定义操作，整个网络的连续性会被破坏
• 不要混淆连续性和可导性：如果卷积层后搭配了ReLU等常见激活函数，网络仍然保持连续性，仅会在部分点位出现不可导的情况，不影响连续的属性

转置卷积的连续性 #

转置卷积同样符合上述规律，纯转置卷积堆叠的架构也是连续函数。
转置卷积本质是常规卷积的反向传播对应运算，核心逻辑仍然是线性变换，只是对输入做了补零、核翻转等预处理后再做标准卷积计算，没有引入非连续的操作，因此本身是连续的。

内容的提问来源于stack exchange，提问作者francesco carella