如何在PyTorch中反转nn.Sequential容器内的神经网络层顺序

你可以直接提取nn.Sequential的子模块列表，反转后重新构造新的nn.Sequential实例即可，不需要手动逐个改写层顺序。

基础实现（仅反转当前层级的层序） #

对应你给出的示例，实现代码如下：

import torch.nn as nn

# 原有正向序列构造逻辑
self.features = []
self.features.append(nn.Conv2d(1, 6, 5))
self.features.append(nn.LeakyReLU())
self.features = nn.Sequential(*self.features)

# 反转序列通用代码
reversed_features = nn.Sequential(*list(reversed(list(self.features.children()))))

执行后打印reversed_features可以看到结构为LeakyReLU在前、Conv2d在后，符合需求。

进阶实现（递归反转所有嵌套的Sequential） #

如果你的序列中存在嵌套的nn.Sequential子模块，需要深层递归反转所有层级的层序，可以使用以下函数：

def recursive_reverse_sequential(seq: nn.Sequential) -> nn.Sequential:
    reversed_layers = []
    # 倒序遍历当前层级的所有子模块
    for layer in reversed(list(seq.children())):
        # 如果子模块也是Sequential，递归反转后再加入列表
        if isinstance(layer, nn.Sequential):
            reversed_layers.append(recursive_reverse_sequential(layer))
        else:
            reversed_layers.append(layer)
    return nn.Sequential(*reversed_layers)

# 调用方式
reversed_features = recursive_reverse_sequential(self.features)

注意事项 #

• 上述方法仅调整层的排列顺序，不会修改各层内部的参数，你需要根据可逆卷积网络的逻辑自行处理相邻层的输入输出通道匹配、归一化层参数适配等业务逻辑。
• 方法不会修改原有的nn.Sequential实例，会返回一个全新的序列实例。

内容的提问来源于stack exchange，提问作者Nikoo_Ebrahimi