这问题我在折腾Jetson TX2跑TensorFlow的时候也碰到过，咱们一步步拆解背后的原因：

为什么per_process_gpu_memory_fraction=0.0时速度更快？ #

首先得纠正一个认知：这个参数设为0.0不是真的分配0%的GPU内存，而是让TensorFlow跳过预分配策略，转而采用动态按需分配的模式——也就是用到多少内存才申请多少，不会一开始就锁定一大块GPU内存。

而当你设为0.5时，TensorFlow会预先锁定TX2 GPU总内存（4GB共享LPDDR4）的50%（也就是2GB）。但TX2的内存是CPU和GPU共用的，预先占用这么多内存，一方面会导致CPU可用内存骤减，影响数据预处理等CPU侧的操作；另一方面，如果你的模型实际用到的内存远小于2GB，那预分配的闲置内存会造成资源浪费，还可能引发内存调度的额外开销，反而拖慢了整体速度。相比之下，按需分配的0.0模式更贴合TX2的内存架构，所以速度反而更快。

为什么per_process_gpu_memory_fraction=0.9会报GPU sync failed？ #

TX2的GPU虽然标称有4GB内存，但系统底层的CUDA驱动、GPU固件，还有后台运行的系统进程（比如桌面环境、服务）都需要预留一部分GPU内存，这部分大概要占几百MB。当你把参数设为0.9时，TensorFlow会尝试预分配3.6GB的GPU内存，这显然超出了实际可用的内存空间——分配失败后，TensorFlow的Session初始化会出问题，后续的GPU操作同步自然就会抛出InternalError: GPU sync failed的错误。

另外，TX2的共享内存架构下，GPU预分配太多内存会导致CPU内存严重不足，系统层面的内存调度会出现异常，这也会加剧同步失败的概率。

给你的几个实用建议 #

• 优先使用allow_growth=True替代固定比例分配，代码改成这样：

  config = tf.ConfigProto()
  config.gpu_options.allow_growth = True
  config.gpu_options.visible_device_list = "0"
  tf.Session(config=config)
  

  这种动态分配模式既能避免预分配的资源浪费，又能减少内存碎片化问题，很适合TX2这类内存紧张的设备。
• 如果一定要用固定比例分配，TX2上建议最高设到0.7-0.8，给系统和驱动留足内存空间。
• 跑模型前可以关闭不必要的后台进程（比如桌面环境），释放更多共享内存，能缓解内存压力。

内容的提问来源于stack exchange，提问作者Sarvagya Gupta