TensorFlow Hub通用句子编码器JIT编译失败问题求助

错误核心提示是Can't find libdevice directory ${CUDA_DIR}/nvvm/libdevice，本质是TensorFlow在GPU环境下找不到CUDA的libdevice文件，导致即时编译失败。可以通过以下几种方式修复：

方式一：配置正确的环境变量 #

1. 找到你的CUDA安装路径：
   • 如果是conda环境安装的CUDA，路径通常是你的conda环境目录下的lib/nvvm/libdevice，比如~/miniconda3/envs/tf/lib/nvvm/libdevice
   • 如果是系统级安装的CUDA，路径一般是/usr/local/cuda/nvvm/libdevice
2. 设置XLA_FLAGS环境变量指定libdevice位置：
   在终端运行代码前执行：

   export XLA_FLAGS=--xla_gpu_cuda_data_dir=/path/to/your/cuda/nvvm
   

   或者在Python代码开头添加：

   import os
   os.environ['XLA_FLAGS'] = '--xla_gpu_cuda_data_dir=/path/to/your/cuda/nvvm'
   

   注意替换/path/to/your/cuda/nvvm为实际找到的包含libdevice文件夹的路径。

方式二：强制使用CPU运行 #

如果暂时不需要GPU加速，可以直接指定TensorFlow使用CPU，避开GPU相关编译问题：
在代码开头添加CPU指定逻辑，修改后的完整代码：

import tensorflow as tf
import tensorflow_hub as hub

# 强制使用CPU
tf.config.set_visible_devices([], 'GPU')

# 加载本地模型
embed = hub.load("./universal-sentence-encoder_4/")
  
Sentences = [
    "How old are you"
]
embeddings = embed(Sentences)
  
print(embeddings)

方式三：检查版本兼容性 #

如果上述方法无效，确认你的TensorFlow版本与CUDA、cuDNN版本是否匹配。比如TensorFlow 2.10对应CUDA 11.2，TensorFlow 2.12对应CUDA 11.8，版本不匹配会引发各类GPU运行错误。

内容的提问来源于stack exchange，提问作者tikendraw