循环中向PyTorch Sequential添加模块时Python执行挂起如何解决

你原本通过add_module动态构建nn.Sequential的逻辑本身是正确的，运行崩溃的根源你已经排查到：10万级维度的线性层会产生爆炸级参数量——单是输入10万、输出10万的线性层就有1e10量级的参数，单精度存储就需要40GB显存，完全超出常规硬件承载能力，所以才会出现执行挂起、解释器崩溃的问题。

动态构建可变层数Sequential的两种标准写法 #

写法1：add_module动态追加（与你的原有逻辑一致） #

import torch.nn as nn

feature_size = 1024  # 示例为合理维度，实际使用时替换为你的参数
scaling_factor = 2

self.sequential = nn.Sequential()
input_dim = feature_size
while input_dim // scaling_factor > 1000:
    output_dim = input_dim // scaling_factor
    self.sequential.add_module(
        f"linear_{input_dim}_{output_dim}",
        nn.Linear(input_dim, output_dim)
    )
    # 可按需追加激活、归一化等层
    self.sequential.add_module(f"relu_{output_dim}", nn.ReLU())
    self.sequential.add_module(f"bn_{output_dim}", nn.BatchNorm1d(output_dim))
    input_dim = output_dim

写法2：先收集层到列表再实例化（更简洁，调试方便） #

layers = []
input_dim = feature_size
while input_dim // scaling_factor > 1000:
    output_dim = input_dim // scaling_factor
    layers.append(nn.Linear(input_dim, output_dim))
    layers.append(nn.ReLU())
    layers.append(nn.BatchNorm1d(output_dim))
    input_dim = output_dim
# 解包层列表直接实例化Sequential
self.sequential = nn.Sequential(*layers)

高维输入场景的优化方案 #

如果你的初始特征维度确实达到10万级，不要直接使用全连接线性层降维，可采用以下方案规避内存溢出：

• 先做前置特征降维：用PCA、互信息特征选择等传统方法先把初始特征维度降到万级以内，再输入神经网络训练
• 用1x1卷积替代全连接层：将输入整理为[batch_size, feature_dim, 1]格式后，1x1卷积和线性层运算等价，框架层面的优化能降低大维度下的内存占用
• 用稀疏线性层：如果输入特征是稀疏的，直接用nn.sparse.Linear替代普通线性层，可大幅降低参数量和内存占用
• 调整缩放系数：将scaling_factor调大，第一次降维就把维度降到万级以内，避免出现10万级维度的线性层

内容的提问来源于stack exchange，提问作者Luca Guarro