使用lighteval评估Llama-2时遇AttributeError：Namespace无inference_server_address属性

问题根源 #

你遇到的错误是因为model_config.py中尝试访问args.inference_server_address，但当前运行的run_evals_accelerate.py脚本未定义该参数，本质是本地运行脚本与安装的lighteval库版本不匹配——你克隆的仓库脚本参数定义落后于已安装的库代码逻辑。

解决步骤 #

1. 对齐本地代码与库版本 #

如果是克隆仓库后直接运行脚本，但同时通过pip安装了lighteval，会出现版本不一致问题，按以下操作修复：

• 卸载pip安装的lighteval：

  pip uninstall -y lighteval
  

• 从本地克隆仓库以开发模式安装：

  cd /content/lighteval
  pip install -e .
  

2. 手动补充缺失参数 #

若不想重新安装，可直接修改本地run_evals_accelerate.py的参数解析部分，添加缺失的参数定义：
找到脚本中parser.add_argument的代码块，插入：

parser.add_argument("--inference_server_address", type=str, default=None, help="远程推理服务器地址（可选）")

添加后，args对象会包含该属性，避免报错。

3. 重新配置accelerate #

确保accelerate配置适配你的环境，运行以下命令重新生成配置：

accelerate config

按照引导选择对应配置（如单GPU、多GPU等），完成后重新执行评估命令。

验证命令 #

修改后重新运行你的评估指令：

accelerate launch run_evals_accelerate.py \
--model_args "meta-llama/Llama-2-7b-chat-hf" \
--model_dtype "torch.float16" \
--tasks "lighteval|gsm8k|0|0" \
--override_batch_size 1 \
--output_dir '/content/drive/MyDrive/thesis'

内容的提问来源于stack exchange，提问作者Aresst