能否为神经网络最后一层的不同输出设置不同激活函数？

问题场景 #

我搭建了一个简单神经网络，层间使用Tanh激活函数，输入张量形状为(100, 2)，期望输出尺寸为(100, 5)：

• 第一列输出值需落在[0,1]区间，适合用Sigmoid激活函数
• 其余列输出值需落在[-1,1]区间，适合用Tanh激活函数

我不清楚如何为第一列单独设置Sigmoid、其余列设置Tanh，想问这种方式是否可行？还是应该在最后一层用Tanh后对第一列取绝对值？

当前实现 #

nn.Sequential(nn.Linear(input_size, hidden_size),
nn.Tanh(),
nn.Linear(hidden_size, output_size),
nn.Tanh())

y = model(x)
y[:,0] = torch.abs(y[:,0])

期望的实现思路 #

先定义不带最后一层激活的模型：

model = nn.Sequential(nn.Linear(input_size, hidden_size),
nn.Tanh(),
nn.Linear(hidden_size, output_size))

然后对输出分列应用不同激活：

y = model(x)
act_1 = nn.Sigmoid()
act_2 = nn.Tanh()

y[:,0] = act_1(y[:,0])
y[:,1:] = act_2(y[:,1:])

解答 #

分列对不同输出应用不同激活是完全可行且更优的方案，比Tanh后取绝对值的方式更合理，原因如下：

• Tanh+abs()的问题：Tanh输出范围是[-1,1]，取绝对值后得到[0,1]，但这个变换是非单调的（比如Tanh(-0.5)和Tanh(0.5)取绝对值后结果相同），会丢失原始输出的符号信息，导致梯度传递异常，影响模型收敛效率和最终效果。
• 分用Sigmoid+Tanh的优势：Sigmoid是专为输出[0,1]设计的单调激活函数，能精准匹配第一列的需求；Tanh则保持其余列的[-1,1]范围，这种方式的梯度计算更稳定，完全贴合任务的输出要求。

更规范的实现方式 #

推荐把分激活的逻辑封装成自定义层，这样可以将整个模型整合到一个Sequential中，符合PyTorch的使用习惯，代码更整洁易维护：

import torch
import torch.nn as nn

class SplitActivation(nn.Module):
    def __init__(self):
        super().__init__()
        self.sigmoid = nn.Sigmoid()
        self.tanh = nn.Tanh()
        
    def forward(self, x):
        # 保留第一列的维度，避免拼接时出现维度不匹配
        first_col = self.sigmoid(x[:, 0:1])
        rest_cols = self.tanh(x[:, 1:])
        return torch.cat([first_col, rest_cols], dim=1)

# 完整模型定义
input_size = 2
hidden_size = 64  # 可根据需求调整
output_size = 5

model = nn.Sequential(
    nn.Linear(input_size, hidden_size),
    nn.Tanh(),
    nn.Linear(hidden_size, output_size),
    SplitActivation()
)

# 前向传播示例
x = torch.randn(100, 2)
y = model(x)
# 验证输出范围
print("第一列范围:", y[:,0].min().item(), "-", y[:,0].max().item())
print("其余列范围:", y[:,1:].min().item(), "-", y[:,1:].max().item())

这个实现的好处：

• 模型可以整体调用、保存和加载，无需在外部额外处理输出张量
• 处理第一列时使用x[:,0:1]保持二维结构，避免维度广播问题
• 激活逻辑完全封装在模型内部，代码结构更清晰

内容的提问来源于stack exchange，提问作者Julier