Keras获取自编码器隐藏层激活时出现CUDA错误致内核重启

根据你的代码和错误日志来看，这个问题大概率是GPU显存不足引发的——训练时model.fit默认会用小批次处理数据，但获取激活值时你直接传入了整个数据集x，一次性占用过多显存，导致主机到设备的内存复制任务失败，触发CUDA_ERROR_LAUNCH_FAILED，最终导致内核重启。结合你的GPU（GeForce GT 740M，仅1.66GiB可用显存），这个情况很常见。下面是几个可行的解决方案：

1. 分批处理输入数据 #

避免一次性将全部数据传入激活值获取函数，改成小批次处理，减少显存占用：

import keras.backend as K
import numpy as np

def get_activations(model, layer, X_data, batch_size=128):
    # 创建获取层输出的函数
    get_layer_output = K.function(
        [model.layers[0].input, K.learning_phase()], 
        [model.layers[layer].output]
    )
    # 分批处理数据
    activations = []
    for start_idx in range(0, X_data.shape[0], batch_size):
        end_idx = min(start_idx + batch_size, X_data.shape[0])
        batch_activations = get_layer_output([X_data[start_idx:end_idx], 0])[0]
        activations.append(batch_activations)
    # 合并所有批次的结果
    return np.concatenate(activations, axis=0)

# 根据你的显存情况调整batch_size，比如128或64
my_featuremaps = get_activations(model, 1, x, batch_size=128)

2. 清理训练后残留的GPU内存 #

训练过程中，Keras/TensorFlow会留下很多临时计算图和变量，占用显存。你可以在获取激活值前手动清理这些残留：

# 训练完成后，先保存模型权重
model.save_weights('autoencoder_weights.h5')

# 清理Keras会话，释放显存
K.clear_session()

# 重新构建模型结构并加载权重
from keras.models import Sequential
from keras.layers import Dense

model = Sequential()
model.add(Dense(400, input_dim=x.shape[1], activation='relu'))
model.add(Dense(200, activation='relu'))
model.add(Dense(x.shape[1]))
model.load_weights('autoencoder_weights.h5')

# 再执行获取激活值的代码
my_featuremaps = get_activations(model, 1, x)

3. 检查版本兼容性 #

你使用的Keras 2.0.8是2018年的版本，需要匹配对应版本的TensorFlow（建议1.4.x或1.5.x）。如果你的TensorFlow版本过高或过低，可能会出现CUDA操作的兼容性问题：

# 安装兼容的TensorFlow GPU版本
conda install tensorflow-gpu==1.4.0

额外排查技巧 #

可以用nvidia-smi命令实时监控显存占用，确认是否是内存过载导致的问题：

# 每秒刷新一次显存状态
nvidia-smi -l 1

执行获取激活值的代码时，观察显存使用率是否接近100%，这能直接验证内存不足的猜测。

内容的提问来源于stack exchange，提问作者Bogorovich