运行H2O Falcon 7B时Powershell 7提示未检测到GPU求助

操作与现象 #

• 在本地conda环境中运行h2ogpt，使用模型h2oai/h2ogpt-gm-oasst1-en-2048-falcon-7b-v3
• 激活环境并安装完依赖后，执行命令：

  python generate.py -base_model=h2oai/h2ogpt-gm-oasst1-en-2048-falcon-7b-v3 -score_model=None -prompt_type=human_bot -cli=True -load_8bit=True
  

• Powershell 7提示no GPU detected，程序自动用CPU加载权重，导致电脑严重卡顿；切换到load_4bit模式后，仍出现相同的未检测GPU提示

已确认的环境信息 #

• 运行nvidia-smi输出如下：

  | NVIDIA-SMI 536.67                 Driver Version: 536.67       CUDA Version: 12.2     |
  |-----------------------------------------+----------------------+----------------------+| GPU  Name                     TCC/WDDM  | Bus-Id        Disp.A | Volatile Uncorr. ECC |
  | Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
  |                                         |                      |               MIG M. |
  |=========================================+======================+======================|
  |   0  NVIDIA GeForce GTX 1070      WDDM  | 00000000:08:00.0  On |                  N/A |
  |  0%   37C    P0              31W / 151W |   1900MiB /  8192MiB |      0%      Default |
  |                                         |                      |                  N/A |
  

• 已重新安装对应Windows x86_64版本11的CUDA Toolkit，显卡驱动为最新版本
• 硬件满足h2ogpt运行要求，nvidia-smi可正常识别GPU

求助点 #

了解到h2ogpt文档中有CUDA_VISIBLE_DEVICES设置，不确定单GPU场景下是否需要配置该参数，求解决GPU未被检测的问题

内容的提问来源于stack exchange，提问作者sw016428