TensorFlow检测到RTX3070 GPU却用CPU训练的问题求助

从你的日志来看，TensorFlow确实已经成功识别到RTX 3070，并且加载了所有必要的CUDA/CuDNN库，但训练时GPU利用率极低，说明模型运算实际跑在了CPU上。以下是几个针对性的排查和解决步骤：

1. 强制TensorFlow使用GPU并启用内存增长 #

有时候TensorFlow可能不会自动优先使用GPU，你可以在代码开头添加以下片段，强制绑定GPU并设置内存动态增长（避免一次性占满显存）：

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers

# 配置GPU使用
gpus = tf.config.list_physical_devices('GPU')
if gpus:
    try:
        # 开启GPU内存动态增长，按需分配显存
        for gpu in gpus:
            tf.config.experimental.set_memory_growth(gpu, True)
        logical_gpus = tf.config.list_logical_devices('GPU')
        print(f"检测到 {len(gpus)} 个物理GPU，{len(logical_gpus)} 个逻辑GPU")
    except RuntimeError as e:
        print(f"GPU配置出错: {e}")

运行这段代码后，如果能正确输出GPU数量，说明TensorFlow已经能正常识别并使用GPU资源。

2. 确保训练数据在GPU上 #

TensorFlow默认会将numpy数组放在CPU上，即使模型在GPU，数据在CPU的话运算也会回退到CPU。你可以手动将数据转换为TensorFlow张量，或者转换成Dataset格式，让框架自动将数据移到GPU：

方法一：转换为TensorFlow张量 #

# 将numpy数组转换为GPU张量
x_train = tf.convert_to_tensor(x_train, dtype=tf.int32)
y_train = tf.convert_to_tensor(y_train, dtype=tf.float32)
x_val = tf.convert_to_tensor(x_val, dtype=tf.int32)
y_val = tf.convert_to_tensor(y_val, dtype=tf.float32)

# 之后正常训练
model.fit(x_train, y_train, batch_size=32, epochs=2, validation_data=(x_val, y_val))

方法二：使用tf.data.Dataset #

# 将数据封装为Dataset，自动处理设备分配
train_dataset = tf.data.Dataset.from_tensor_slices((x_train, y_train)).batch(32)
val_dataset = tf.data.Dataset.from_tensor_slices((x_val, y_val)).batch(32)

model.fit(train_dataset, epochs=2, validation_data=val_dataset)

3. 验证GPU基础运算是否正常 #

写一段简单的测试代码，确认TensorFlow真的能在GPU上执行运算：

import tensorflow as tf
# 创建矩阵乘法运算
a = tf.constant([[1.0, 2.0], [3.0, 4.0]])
b = tf.constant([[5.0, 6.0], [7.0, 8.0]])
c = tf.matmul(a, b)
print("运算结果:", c)
print("运算所在设备:", c.device)

如果输出的设备是/GPU:0，说明GPU运算功能正常，问题大概率出在训练数据的设备分配上；如果输出/CPU:0，则需要重新检查CUDA/CuDNN与TensorFlow的版本兼容性。

4. 检查版本兼容性 #

你当前使用的是TensorFlow Nightly 2.5.0.dev20201111，虽然理论上支持安培架构（RTX3070的compute capability 8.6），但预览版可能存在兼容性bug。建议尝试切换到正式版TensorFlow GPU：
在Anaconda虚拟环境中执行：

# 卸载 nightly 版本
pip uninstall tensorflow-nightly-gpu -y
# 安装正式版2.5.0（适配CUDA11.1/11.2，CuDNN8.0+）
pip install tensorflow-gpu==2.5.0

安装完成后重新运行训练代码，看GPU利用率是否上升。

5. 确认GPU无其他进程占用 #

打开Anaconda终端，执行nvidia-smi命令，查看GPU的占用情况，确保没有其他程序（比如游戏、其他深度学习框架）占用GPU资源。

按照以上步骤排查，应该能解决你的GPU训练问题。

内容的提问来源于stack exchange，提问作者Josh