PyTorch多GPU运行异常：仅单GPU被占用问题求助

核心问题 #

你直接调用model.module的encode/decode/project子方法，完全绕过了nn.DataParallel的并行调度逻辑。nn.DataParallel的多GPU分发、计算、聚合逻辑只在模型的顶层forward方法中生效，直接访问model.module相当于只在主GPU上执行单卡计算，自然无法利用所有GPU。

解决方案 #

1. 给模型添加统一的顶层forward方法 #

将encode、decode、project的逻辑整合到模型的forward函数中，让nn.DataParallel能接管整个计算流程：

class TransformerSummarizer(nn.Module):
    def __init__(self, encoder, decoder, project):
        super().__init__()
        self.encoder = encoder
        self.decoder = decoder
        self.project = project

    def forward(self, encoder_input, encoder_mask, decoder_input, decoder_mask):
        encoder_output = self.encoder(encoder_input, encoder_mask)
        decoder_output = self.decoder(encoder_output, encoder_mask, decoder_input, decoder_mask)
        proj_output = self.project(decoder_output)
        return proj_output

2. 修改模型调用逻辑，移除model.module直接调用 #

不管GPU数量多少，统一通过模型实例直接调用，让nn.DataParallel处理并行逻辑：

# 替换原有的if分支判断逻辑
proj_output = model(encoder_input, encoder_mask, decoder_input, decoder_mask)

3. 调整模型封装与设备迁移顺序 #

正确的流程是先将模型迁移到主GPU，再用nn.DataParallel封装：

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = model.to(device)
if torch.cuda.device_count() > 1:
    print(f"Using {torch.cuda.device_count()} GPUs")
    model = nn.DataParallel(model)

额外注意 #

确保所有输入张量（encoder_input、encoder_mask等）都已通过.to(device)迁移到GPU，nn.DataParallel会自动将数据分发到各个GPU节点。

内容的提问来源于stack exchange，提问作者Abid Meraj