PyTorch中激活函数是否适合作为类字段存储

• 在forward()内直接调用无状态激活函数（比如tanh、sigmoid、基础版relu）确实是行业内最通用的实现方式。
• 对无状态激活操作来说，两种写法没有本质技术层面的优劣势，绝大多数场景下就是代码风格选择，网传的微小性能提升在实际训练、推理中根本测不出来，完全可以忽略。

参考实现样例 #

class Net(T.nn.Module):
  def __init__(self):
    super(Net, self).__init__()
    self.hid1 = T.nn.Linear(4, 8)  # 4-(8-8)-1 二分类网络结构
    self.hid2 = T.nn.Linear(8, 8)
    self.oupt = T.nn.Linear(8, 1)

    # 权重初始化
    T.nn.init.xavier_uniform_(self.hid1.weight)
    T.nn.init.zeros_(self.hid1.bias)
    T.nn.init.xavier_uniform_(self.hid2.weight)
    T.nn.init.zeros_(self.hid2.bias)
    T.nn.init.xavier_uniform_(self.oupt.weight)
    T.nn.init.zeros_(self.oupt.bias)

  def forward(self, x):
    z = T.tanh(self.hid1(x)) 
    z = T.tanh(self.hid2(z))
    z = T.sigmoid(self.oupt(z))
    return z

两种写法的适用边界 #

你只需要记住一个判断原则：只要操作持有需要模型管理的参数或状态，就必须在__init__里声明为类字段；纯计算无状态的操作直接在forward里调用函数接口就行。
必须放在__init__里的激活相关操作包括但不限于：

• 带可学习参数的激活，比如PReLU（带可学习的负半轴斜率），这类和全连接层、卷积层一样需要持久保存权重，放在__init__里才能被PyTorch正确识别为模型参数，参与训练、保存、加载全流程。
• 带内部状态的操作，比如开了inplace=True的ReLU、Dropout层，这类虽然没有可学习参数，但需要跟着模型整体切换train()/eval()模式，放在__init__里声明后不用额外手动处理状态切换。

对于tanh、sigmoid、无参数的函数式ReLU这类完全无状态的纯计算操作：

• 直接在forward里调函数接口的写法更简洁，不用在__init__里写冗余的字段声明，PyTorch官方教程、torchvision内置模型、绝大多数开源工业级项目都是这么写的。
• 要是你习惯提前在__init__里实例化nn.Tanh()这类激活类再在forward里调用也完全没问题，两种写法底层执行的计算逻辑100%一致，性能差异在微秒级，不管是训练还是推理都不可能感知到差别。

二分类网络最常见的结构是在__init__()方法中定义网络层及其关联的权重、偏置，在forward()方法中实现输入输出的计算逻辑。

这个说法是准确的，核心从来不是强制要求激活函数必须写在哪，而是不要把需要持久管理的参数、状态漏在__init__外面就行，为了几乎不存在的性能收益牺牲代码可读性完全没必要。

内容的提问来源于stack exchange，提问作者rwallace