如何在CPU上运行TensorFlow基准测试（含CNN）并与GPU对比？

我来一步步告诉你怎么在CPU上跑TensorFlow的基准测试，不管是通用测试还是CNN专项测试，都能帮你和GPU的结果做公平对比：

一、通用TensorFlow CPU基准测试 #

如果只是想测试TensorFlow在CPU上的整体性能，按下面步骤来：

• 强制TensorFlow使用CPU：
  如果你机器上同时装了GPU版TensorFlow，先通过环境变量屏蔽GPU，确保测试完全在CPU上进行：

  export CUDA_VISIBLE_DEVICES=""
  

  要是你习惯用代码控制，也可以在Python脚本里手动指定设备：

  import tensorflow as tf
  with tf.device('/CPU:0'):
      # 在这里写你的基准测试逻辑
  

• 运行官方基准测试：
  TensorFlow自带了现成的基准测试工具，直接用命令行就能跑，比如测试经典模型的运算性能：

  python -m tensorflow.python.benchmark.benchmark_model --model_name=inception_v3 --batch_size=16
  

  你可以替换--model_name为其他模型（比如resnet50、mobilenet_v2），调整--batch_size来适配你的CPU核心数。

二、TensorFlow CNN基准测试（用于和GPU对比） #

如果要专门跑CNN的基准并和GPU结果对比，必须注意数据格式的一致性——GPU通常默认用NCHW格式，而CPU默认是NHWC，所以要显式指定参数保证公平对比：

• 先屏蔽GPU（和通用测试步骤一致）：
  执行环境变量命令确保测试只在CPU上进行：

  export CUDA_VISIBLE_DEVICES=""
  

• 运行CNN基准测试并指定数据格式：
  使用官方脚本时，一定要加上--data_format=NHWC参数，比如：

  python -m tensorflow.python.benchmark.benchmark_model --model_name=resnet50 --batch_size=32 --data_format=NHWC
  

  这样跑出来的结果，和你在GPU上用相同--data_format=NHWC参数跑的结果才有对比价值（如果GPU用默认的NCHW，数据格式差异会导致性能结果失真，没法直接对比）。

另外补充个小细节：如果是自己写的CNN测试代码，也要在卷积层或输入层里显式指定data_format='channels_last'（也就是NHWC），比如：

tf.keras.layers.Conv2D(32, (3,3), data_format='channels_last')

内容的提问来源于stack exchange，提问作者Mciri