使用Detectron2训练DeepLabV3+时遇PyTorch进程组未初始化错误

问题根源 #

你遇到的RuntimeError: Default process group has not been initialized，是因为默认配置启用了SyncBatchNorm（同步批归一化），但当前训练环境没有初始化PyTorch分布式进程组。SyncBatchNorm依赖多进程分布式架构同步不同GPU的批统计量，单GPU/单进程训练场景下直接使用会触发该错误。

针对性解决方案 #

根据你的训练环境（单GPU/多GPU）选择对应方案：

方案1：单GPU训练（Colab单T4、Kaggle单GPU）

直接把同步批归一化改成普通批归一化，修改配置即可：

• 方式一：在YAML配置文件中添加/修改：

MODEL:
  BN_TYPE: "BN"  # 替换默认的SyncBN

• 方式二：在Python训练代码中动态设置：

# 加载配置后添加这一行
cfg.MODEL.BN_TYPE = "BN"

方案2：多GPU训练（Kaggle T4 x2）

必须通过分布式方式启动训练，有两种实现方式：

• 方式一：使用Detectron2官方的分布式启动命令运行训练脚本：

python -m torch.distributed.launch --nproc_per_node=2 train_net.py --config-file /kaggle/input/deeplab-v3-plus-models/deeplab_v3_plus_R_18_os16_mg124_poly_90k_bs16.yaml

• 方式二：在自定义训练脚本开头手动初始化分布式进程组：

import torch.distributed as dist
from detectron2.utils.env import setup_distributed

# 初始化分布式环境
setup_distributed()

# 或者手动初始化（二选一即可）
# dist.init_process_group(backend="nccl")

注意：多GPU训练时，SOLVER.IMS_PER_BATCH=16的设置是合理的（比如2个GPU各跑8张图），无需修改。

额外注意事项 #

• 确认你的r18.pkl是Detectron2兼容的权重格式，避免因权重加载异常引发其他问题。
• 如果使用DeepLab项目的Trainer类，同样要确保BN_TYPE已设置为BN（单GPU）或正确初始化分布式（多GPU）。

内容的提问来源于stack exchange，提问作者Mohammad Qodrati