关于仅将Sequential()/HybridSequential()用作容器的副作用及差异的问询

1. 用nn.Sequential()存储Block但在forward自定义连接，有没有副作用？ #

这种做法没有本质副作用，反而在像你写的SSD这类复杂模型里是常规操作。要明确：

• nn.Sequential()的核心作用是作为子Block的容器，自动帮你注册这些Block（让框架跟踪参数、处理设备迁移、支持模型保存加载等），它默认的顺序执行只是一个便捷功能，不是强制约束。
• 就像你在代码里做的：把downsamplers、class_predictors放进Sequential，但在forward里手动按需调用特定索引的Block（比如class_predictors[i](x)），完全符合框架设计逻辑。
• 需要注意：如果Sequential里的某个Block从未在forward中被调用，它的参数会被初始化但不会参与训练（反向传播时没有梯度更新），还会占用内存，所以尽量只把需要的Block放进容器。

2. Sequential()与HybridSequential()的核心差异 #

两者都是管理子Block的容器，但核心区别在于对静态图的支持：

• nn.Sequential()
  • 纯动态图模式，每次forward都会执行完整的Python逻辑，灵活性拉满，适合需要动态分支、输入依赖的条件判断等场景
  • 不支持hybridize()优化，性能相对较低
• nn.HybridSequential()
  • 支持hybridize()方法，调用后会把计算图编译成静态图，重复执行时能大幅减少Python overhead，速度更快
  • 要求内部的子Block都是HybridBlock或支持混合模式的，不能有过于复杂的动态Python逻辑（比如循环次数随输入变化、依赖输入值的条件判断）
  • 编译后可以导出为符号（Symbol），方便部署到C++、移动端等非Python环境

3. 用列表替换Sequential()出现警告的原因 #

你看到的警告：

"ToySSD.downsamplers" is a container with Blocks. Note that Blocks inside the list, tuple or dict will not be registered automatically. Make sure to register them using register_child() or switching to nn.Sequential/nn.HybridSequential instead.’

本质是因为普通列表/元组不会自动注册内部的Block。而Sequential/HybridSequential的核心功能之一就是自动注册子Block，注册后框架会帮你：

• 自动初始化参数
• 自动将参数同步到GPU/CPU
• 保存模型时自动包含子Block的参数
• 反向传播时自动计算梯度
  如果用普通列表，你必须手动调用register_child()逐个注册每个Block，否则这些Block的参数不会被框架管理，训练时根本不会更新，甚至会出现设备不匹配的问题。

4. 自定义forward会不会造成混淆？ #

完全不会，只要你自己清楚模型逻辑就行。Sequential的默认顺序只是个快捷执行方式，自定义forward是实现复杂模型逻辑的常规操作——比如你的SSD需要多尺度预测，必须手动控制每个特征层的预测和下采样流程，这比默认的顺序执行灵活得多。

5. Sequential中未被forward涉及的Block会处于什么状态？ #

• 这些Block的参数会被框架初始化（因为在Sequential里被注册了），但不会参与训练——只有被forward调用过的Block才会在反向传播时生成梯度，未被调用的参数梯度始终为0，不会被优化器更新。
• 它们会占用内存/显存，如果你确定不需要这些Block，建议从Sequential中移除，避免资源浪费。

内容的提问来源于stack exchange，提问作者Blue Bird