在Google Colab用GridSearchCV调优ANN时遇GPU同步失败错误求助

我之前在Colab用GridSearchCV调神经网络模型的时候，也碰到过一模一样的InternalError: GPU sync failed问题，大概率是GPU资源不足或者环境状态异常导致的，给你几个亲测有效的解决方向：

1. 限制TensorFlow显存按需使用 #

Colab的GPU是共享资源，默认情况下TensorFlow会一次性占满可用显存，GridSearchCV同时训练多个模型很容易触发显存溢出，进而导致同步失败。可以在代码最开头加这段显存配置：

import tensorflow as tf
gpus = tf.config.experimental.list_physical_devices('GPU')
if gpus:
    try:
        # 让TensorFlow根据需求动态分配显存，避免一次性占满
        for gpu in gpus:
            tf.config.experimental.set_memory_growth(gpu, True)
    except RuntimeError as e:
        print(e)

2. 调小Batch Size #

GridSearchCV会并行训练不同参数组合的模型，每个模型都需要占用显存。把你的batch_size从默认值（比如32）调小到16甚至8，能显著降低单模型的显存占用，减少GPU资源耗尽的概率。

3. 重启Colab Runtime #

有时候是GPU被之前的残留进程占用，或者进入了异常状态，这种情况下重启Runtime就能解决问题。操作路径：顶部菜单栏Runtime -> Restart runtime，重启后重新运行代码即可。

4. 临时切换到CPU验证（排查问题） #

如果以上方法都没用，可以先切换到CPU环境，确认模型本身的代码没有问题（比如你提供的代码最后一层的activation='sigmo...'看起来没写完，应该是'sigmoid'吧？）。切换方法：Runtime -> Change runtime type -> Hardware accelerator选择None，运行代码看是否还会报错，以此排除模型代码的问题。

内容的提问来源于stack exchange，提问作者Divyojyoti Sinha