运行Mask R-CNN时TORCH_USE_CUDA_DSA与frozen_modules错误的含义及修复方法

一、问题概述 #

使用CUDA优化航拍图像的Mask R-CNN训练时，GPU运行触发RuntimeError: CUDA error: an illegal memory access was encountered；CPU运行时内核进程崩溃，同时弹出frozen_modules相关调试警告。此前曾有一次GPU正常运行的记录，且之前遇到过CUDA内存问题。

二、关于frozen_modules的说明 #

1. 什么是frozen_modules #

Python 3.11及以上版本引入了冻结模块机制，将部分标准库模块预编译为二进制格式，启动时直接加载以提升启动速度。这类模块的代码是只读状态，调试器无法在其中设置断点，因此会弹出警告提示。

2. 关闭是否安全 #

完全安全。关闭冻结模块仅会禁用预编译二进制模块的加载，改为读取源码形式，唯一影响是Python启动速度略有下降，对模型训练的逻辑、性能无任何负面影响。可以通过两种方式关闭：

• 启动脚本时添加参数：python -Xfrozen_modules=off your_training_script.py
• 设置环境变量屏蔽调试警告：export PYDEVD_DISABLE_FILE_VALIDATION=1（Linux/macOS）或set PYDEVD_DISABLE_FILE_VALIDATION=1（Windows）

三、CUDA非法内存访问错误排查 #

1. TORCH_USE_CUDA_DSA的正确启用方式 #

代码中设置os.environ["TORCH_USE_CUDA_DSA"] = "1"无效，因为该环境变量需要在PyTorch库加载前配置。正确操作方式：

• Linux/macOS终端：export TORCH_USE_CUDA_DSA=1 && python your_training_script.py
• Windows命令提示符：set TORCH_USE_CUDA_DSA=1 && python your_training_script.py
  启用后会输出更详细的设备端错误日志，帮助定位具体哪一步出现内存访问违规。

2. 代码与数据的潜在问题点 #

（1）训练数据集格式异常

检查train_ds返回的数据是否符合Mask R-CNN要求：

• images列表中的每个张量需保证是3通道，且高度、宽度为正整数；航拍图像分辨率差异大，需确认没有尺寸为0或异常的图像
• targets中的每个字典必须包含boxes（形状[N,4]，xyxy格式）、labels（形状[N]，正整数）、masks（形状[N,H,W]），且所有张量的设备需与模型一致，避免CPU/GPU张量混合
• 排除无标注样本：Mask R-CNN训练时无法处理没有任何目标的图像

（2）内存管理优化

虽然代码中加入了gc.collect()和torch.cuda.empty_cache()，但训练循环内未及时释放中间张量，可优化如下：

for images, height, targets, names in train_ds:
    # ... 原有训练代码 ...
    scaler.update()
    
    # 释放当前batch的中间张量
    del images, targets, loss_dict, losses
    gc.collect()
    torch.cuda.empty_cache()

同时检查batch size是否过大：航拍图像分辨率高，即使batch size=1也可能占用大量显存，建议先将batch size调至最小测试。

（3）混合精度训练的正确性验证

暂时关闭混合精度训练，排查是否是精度转换导致的问题：

# 注释掉混合精度相关代码
# scaler = GradScaler()

for epoch in range(num_epochs):
    model.train()
    counter = 0
    for images, height, targets, names in train_ds:
        # ... 数据转移代码 ...
        optimizer.zero_grad()
        
        # 去掉autocast上下文
        loss_dict = model(images, targets)
        losses = sum(loss for loss in loss_dict.values())
        
        losses.backward()
        optimizer.step()
        
        # ... 释放张量代码 ...

如果关闭后不再报错，说明混合精度训练的流程存在问题，需检查是否有张量未被正确转换精度。

（4）模型适配性检查

你的ResNet18 backbone配置基本正确，但可针对航拍图像调整锚点尺寸：
航拍图像中的物体尺寸跨度大，可尝试扩展AnchorGenerator的sizes参数，比如增加更大的锚点：

anchor_generator = AnchorGenerator(sizes=((16, 32, 64, 128, 256, 512, 1024),),
                                   aspect_ratios=((0.5, 1.0, 2.0),))

3. 额外排查步骤 #

• 验证CUDA与PyTorch版本兼容性：比如PyTorch 2.0+需要CUDA 11.7及以上版本，版本不匹配会触发异常内存访问
• 单样本测试：编写小脚本，仅输入一张标注完整的图像，测试前向、反向传播是否正常，逐步定位问题
• 实时监控显存：用nvidia-smi命令实时查看GPU显存使用情况，非法内存访问有时是显存耗尽导致的间接错误

内容的提问来源于stack exchange，提问作者kinggoid games