IBM POWER AC922服务器CUDA运行异常及GPU初始化失败求助

各位技术大佬好，我这边碰到了IBM POWER AC922服务器的棘手问题，想请大家帮忙分析排查下：

• 最初的异常表现：服务器偶尔会在运行CUDA代码时触发内核panic，一开始我们怀疑是GPU相关的故障。
• 初步尝试的排查操作：我们推测GPU #1可能损坏，于是用命令 echo 1 > /sys/bus/pci/devices/0004:05:00.0/remove 将其从系统中移除，之后崩溃的频率确实有所降低，但问题并没有彻底解决。
• 当前的困境：现在剩下的GPU完全无法正常使用，哪怕运行最简单的CUDA代码都会出现GPU初始化错误。
• 已完成的其他排查：
  • OpenBMC中没有任何警告或错误信息，系统日志里也没发现异常内容；
  • 单独使用CPU时系统很稳定，我用stress-ng跑了6小时都没有崩溃，但不确定这个测试是否能覆盖当前问题的场景。

我现在正在考虑会不会是由于故障的PCIe总线、主板供电组件或者其他GPU共享的硬件模块导致的问题，但暂时没有明确的排查方向，想请教下大家有没有类似的排查经验或者建议？

备注：内容来源于stack exchange，提问作者Vinícius Ferrão