使用DP/DDP时如何转换model.module.fc？DDP用法是否有差异？

DP和DDP的封装逻辑存在本质差异，直接照搬DP模式下model.module.fc的写法确实容易触发属性不存在的报错，核心差异和处理方式如下：

• 标准DDP封装后的模型实例本身也带有module属性，指向传入的原始本地模型，正常情况下model.module.fc是可以访问到全连接层的，报错基本都是踩了下面几个常见坑：

常见报错原因与修复方案 #

• 层修改时机错误
  DP模式下很多人习惯在封装完成后，通过model.module.fc替换最后一层、加载fc层权重。但DDP在初始化时会自动完成所有进程的参数广播同步，如果在DDP封装完成后才修改fc层，会导致不同进程的模型结构不一致，部分PyTorch版本会直接抛出属性不存在的错误。
  所有对模型层的增删改操作（包括替换fc层、加载预训练权重），必须放到DDP/DP封装之前完成，封装后仅执行前向传播、反向传播、参数更新逻辑，不要随意修改内部层结构。
• 硬编码访问路径缺少兼容判断
  DP是单进程管控所有计算卡，只要完成DP封装，代码任意位置访问model.module都能拿到原始模型。但DDP是多进程独立运行，很多人写代码会加分支：单卡调试时不做DDP封装，多卡训练时才走封装逻辑，这时候硬写model.module.fc，在未执行DDP封装的进程中就会直接触发属性不存在的错误。
  可以写一个通用的原始模型获取方法，兼容单卡裸模型、DP、DDP三种场景：

  def get_original_model(model):
      current = model
      while hasattr(current, "module"):
          current = current.module
      return current
  
  # 访问、修改fc层统一走该方法
  raw_model = get_original_model(model)
  raw_model.fc = nn.Linear(raw_model.fc.in_features, target_class_num)
  

• DDP初始化流程错误
  如果初始化DDP时没有先把模型放到当前进程对应的本地GPU上，或者device_ids参数传入了所有卡的ID列表而非当前进程对应的单卡ID，会导致DDP内部模型挂载逻辑异常，此时访问model.module下的层属性也可能报错。
  标准DDP初始化流程参考：

  import os
  import torch.distributed as dist
  from torch.nn.parallel import DistributedDataParallel as DDP
  
  local_rank = int(os.environ["LOCAL_RANK"])
  # 初始化分布式进程组
  dist.init_process_group(backend="nccl")
  # 将模型迁移到当前进程对应的GPU
  model = model.to(f"cuda:{local_rank}")
  # 所有模型结构修改、权重加载操作在此处完成
  # 执行DDP封装，device_ids仅传入当前进程的local_rank
  model = DDP(model, device_ids=[local_rank], output_device=local_rank)
  

DDP不存在DP模式下主卡修改结构、其他卡自动同步的逻辑，所有进程的模型结构、初始化参数必须完全一致，禁止仅在rank0进程修改fc层结构，否则会触发参数广播失败、层属性不匹配等问题。

内容的提问来源于stack exchange，提问作者ho-ey