TensorFlow1.5训练MaskRCNN失败，提示无可用内核镜像及算子错误

首先，你遇到的这个问题核心是TensorFlow 1.5版本中Where算子的GPU实现和你的环境（CUDA/CuDNN/GPU驱动）不兼容，或者MaskRCNN的代码没有适配TF1.5对该算子的行为改动。先把你给出的报错信息整理如下：

提示“no kernel image is available for execution on the device”，且由算子u'pyramid_1/AssignGTBoxes/Where_6'引发，定义位置：
File "/home/zhouzd2/letrain/applications/letrain.py", line 349, in tf.app.run()
File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/platform/app.py", line 124, in run _sys.exit(main(argv))
File "/home/zhouzd2/letrain/applications/letrain.py", line 346, in main LeTrain().model_train(user_mode)
File "/home/zhouzd...

下面是几个针对性的解决办法，按优先级排序：

• 先核对CUDA/CuDNN与TF1.5的兼容性：TensorFlow 1.5官方要求搭配CUDA 8.0和CuDNN 6.0（注意是CuDNN v6，不是v7）。如果你的环境用了更高版本的CUDA/CuDNN，就会出现部分算子找不到对应GPU内核的情况。建议卸载现有版本，重新安装匹配的CUDA和CuDNN。
• 强制报错算子在CPU上运行：如果暂时不想更换CUDA版本，可以定位到AssignGTBoxes层中调用Where的代码部分，用tf.device('/cpu:0')包裹该段逻辑，让这个算子在CPU上执行。示例代码如下：

  with tf.device('/cpu:0'):
      # 这里是原来调用tf.where()的代码
      selected_indices = tf.where(...)
  

• 适配MaskRCNN代码到TF1.5：TF1.2到TF1.5之间，tf.where的参数格式和返回值有细微改动（比如早期版本支持布尔张量直接作为输入，新版本可能需要更严格的维度匹配）。你可以找到AssignGTBoxes类中使用tf.where的地方，调整参数使其符合TF1.5的要求——比如检查输入张量的维度是否一致，是否需要显式转换数据类型。
• 检查GPU驱动版本：确保你的GPU驱动版本支持CUDA 8.0（最低要求是375.26），如果驱动版本过低，也会导致CUDA内核无法正常加载。可以通过nvidia-smi命令查看当前驱动版本，必要时升级到对应版本。

内容的提问来源于stack exchange，提问作者luwa hu