EC2实例中Whisper AI无法调用GPU，仅用CPU运行的解决求助

核心问题是torch.cuda.is_available()返回false，导致GPU无法被PyTorch识别，需从硬件驱动、PyTorch配置、环境验证三个层面排查修复：

一、先验证EC2 GPU硬件与驱动状态 #

1. 检查GPU是否被系统识别
   执行终端命令：

   nvidia-smi
   

   • 若输出GPU型号、显存、驱动版本等信息，说明硬件和基础驱动正常；
   • 若报错，需先安装对应NVIDIA驱动：
     • Amazon Linux 2系统：

       sudo amazon-linux-extras install nvidia-driver-latest
       

     • Ubuntu系统：

       sudo apt update && sudo apt install nvidia-driver-535
       

     安装完成后重启实例，再次运行nvidia-smi确认。

2. 确认CUDA版本兼容性
   nvidia-smi输出中的CUDA Version是驱动支持的最高CUDA版本，PyTorch的CUDA版本必须≤该版本。你的PyTorch为2.0.1，兼容CUDA 11.7/11.8，需确保驱动支持的CUDA版本≥11.7。

二、重新安装带CUDA支持的PyTorch #

你的requirements.txt中直接指定torch==2.0.1会默认安装CPU版本，需替换为GPU兼容版本：

1. 卸载现有CPU版PyTorch

   pip uninstall torch torchaudio -y
   

2. 根据CUDA版本安装对应PyTorch

   • 若CUDA为11.8：

     pip install torch==2.0.1 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118
     

   • 若CUDA为11.7：

     pip install torch==2.0.1 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu117
     

3. 更新requirements.txt
   将原有的torch==2.0.1和torchaudio==2.0.2替换为（根据实际CUDA版本调整）：

   torch==2.0.1+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
   torchaudio==2.0.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
   

三、验证PyTorch的CUDA可用性 #

安装完成后，在Python环境中执行以下代码：

import torch
print(torch.cuda.is_available())
print(torch.cuda.device_count())
print(torch.cuda.get_device_name(0))

若返回True、设备数≥1、GPU名称，说明CUDA已正常识别，此时运行你的Whisper代码即可自动调用GPU。

额外注意事项 #

• 确保使用的虚拟环境已正确激活，避免依赖安装到全局环境
• 小模型（如tiny/tiny.en）的GPU加速提升幅度不如大模型，但仍会优化转录速度
• EC2实例默认安全组与IAM权限无需额外配置即可访问GPU资源

内容的提问来源于stack exchange，提问作者Sharhad