PyTorch中torch.inverse异常返回单位矩阵,打印输入后修复的原因求解
问题根因分析
这个问题是PyTorch CUDA异步执行机制 + 非法内存访问共同导致的典型现象,核心逻辑如下:
- CUDA异步执行的特性偏差:PyTorch中CUDA侧的算子调用是异步提交的,CPU侧提交任务后不会等待GPU执行完成就会继续执行后续逻辑,只有遇到显式同步操作(如打印张量、调用
.item()/.cpu()、执行torch.cuda.synchronize())时,才会等待之前的GPU任务全部执行完成再继续。你之前校验__getitem__输出正常,是因为校验的打印操作触发了同步,拿到了正确写入后的数值;但没有打印操作时,torch.inverse提交执行时,pose_pre对应的GPU内存还没完成正确写入,读到的是未初始化的脏内存,刚好脏内存的数值是4阶单位矩阵,所以输出一直是单位矩阵。 - 非法内存的来源:
pose_pre是pose3d_BT切片后reshape得到的视图,本身没有独立的底层内存,直接复用pose3d_BT的内存。大概率是你的__getitem__实现中存在内存复用逻辑、或是在__getitem__中直接返回CUDA张量导致拷贝时序异常、或是后续逻辑有对pose3d_BT的inplace修改,最终导致pose_pre读到的是脏内存。 - 打印操作修复bug的原理:打印张量时会强制同步CUDA流,等所有对该张量的写入操作完成后才会读取数据,同时会将GPU数据拷贝到主机侧用于打印,相当于隐式完成了数据同步,保证后续
torch.inverse读取到的是正确的数值。
解决思路
- 优先验证同步假设:把打印代码替换为
torch.cuda.synchronize()放在torch.inverse调用前,如果bug消失即可确认是异步同步问题。 - 修复
Dataset实现:不要在__getitem__中返回CUDA张量,统一返回CPU张量,交给DataLoader的pin_memory和内置异步拷贝逻辑处理GPU数据传输,避免自定义CUDA操作带来的时序问题。 - 给
pose_pre分配独立内存:将pose_pre = pose3d_BT[:,:-1,...].reshape(-1,4,4)修改为pose_pre = pose3d_BT[:,:-1,...].reshape(-1,4,4).contiguous(),必要时加.clone()强制拷贝,避免视图复用原张量内存带来的脏数据问题。 - 排查inplace操作:检查拿到
pose_pre之后的逻辑中有没有对pose3d_BT的inplace修改,这类修改会直接作用于pose_pre的底层内存,将inplace操作改为非inplace版本即可。 - 升级PyTorch版本:部分旧版本PyTorch存在CUDA张量切片、reshape后的寻址bug,升级到最新稳定版可排除框架本身的问题。
内容的提问来源于stack exchange,提问作者zheyuanWang
相关产品推荐
相关产品推荐

