CNN中激活函数对计算时间的影响：基于SqueezeNet论文的技术问询

刚好我最近也在啃SqueezeNet这篇经典论文，针对你问的CNN里激活函数对计算时间的影响，结合论文4.2.3章节的内容，我来聊聊我的理解：

在该论文的4.2.3（激活函数层）章节中有如下表述：激活函数的影响几乎完全局限于训练阶段，对推理阶段的计算需求影响极小。

为什么会有这样的结论？我拆解成训练和推理两个阶段来看：

• 训练阶段：激活函数的开销主要来自反向传播环节。正向计算激活值本身其实不算重，但反向时要计算激活函数的导数来参与权重更新。比如ReLU正向只是max(0, x)的简单判断，但反向得先判断输入是否大于0，再决定梯度是否传递；要是用Sigmoid或者Tanh，导数计算还要涉及指数运算，开销会更明显。而且训练是批量处理数据，这些小开销累积起来就会影响整体训练时长。
• 推理阶段：此时只需要正向跑一遍网络，激活函数的正向计算都是轻量操作。不管是ReLU的阈值判断，还是Swish这类稍复杂的组合运算，和卷积、池化这些占大头的计算比起来，耗时几乎可以忽略。这就是论文里说推理阶段影响极小的关键所在。

内容的提问来源于stack exchange，提问作者rykami