使用vLLM初始化Mixtral-8x7B-Instruct-v0.1-AWQ时遇Bus Error求助

问题分析 #

报错中的ncclShmOpen()指向NCCL共享内存（SHM）相关异常，SIGBUS错误通常源于内存访问越界。结合多GPU张量并行场景，核心诱因大概率是共享内存资源不足、NCCL配置冲突，或是vLLM与AWQ量化组件的兼容性问题。

解决方案 #

1. 调整NCCL共享内存配置 #

• 增大容器共享内存：启动Docker容器时通过--shm-size参数分配足够的共享内存，建议设置为64g（可根据硬件实际情况调整）：

  docker run --gpus all --shm-size=64g [其他容器参数]
  

• 禁用NCCL共享内存通信：设置环境变量强制NCCL使用PCIe替代共享内存，可在代码开头添加：

  import os
  os.environ["NCCL_SHM_DISABLE"] = "1"
  

  或在容器启动时通过-e NCCL_SHM_DISABLE=1参数配置。

2. 修复vLLM与AWQ的兼容性 #

• 锁定vLLM稳定版本：最新版vLLM可能与autoawq存在兼容性问题，建议将vLLM指定为0.2.5版本（该版本对AWQ支持更成熟），修改Dockerfile中的依赖配置：

  RUN poetry add vllm==0.2.5\
       accelerate\
       deepspeed\
       auto-gptq\
       optimum\
       peft\
       transformers\
       flax==0.8.0\
       torch==2.1.2\
       tensorflow\
       bitsandbytes\
       autoawq
  

• 显式配置AWQ参数：初始化LLM时添加awq_config，确保加载正确的量化规则：

  self.model = LLM(
      model="TheBloke/Mixtral-8x7B-Instruct-v0.1-AWQ",
      quantization="awq",
      dtype="auto",
      tensor_parallel_size=tensor_parallel_size,
      awq_config={"zero_point": True, "q_group_size": 128}
  )
  

3. 优化GPU资源配置 #

• 检查GPU内存占用：用nvidia-smi确认单GPU内存剩余，Mixtral-8x7B-AWQ单卡需约10-12GB内存，L4单卡24GB需确保无其他进程占用资源。
• 调整张量并行与内存利用率：若8卡并行仍报错，尝试先以4卡启动，同时设置gpu_memory_utilization提升内存使用效率：

  self.model = LLM(
      model="TheBloke/Mixtral-8x7B-Instruct-v0.1-AWQ",
      quantization="awq",
      dtype="auto",
      tensor_parallel_size=4,
      gpu_memory_utilization=0.9
  )
  

4. 更新系统NCCL库 #

Docker镜像中的NCCL版本可能适配性不足，手动更新至适配CUDA12.1的版本，在Dockerfile中添加：

RUN apt-get update && apt-get install -y libnccl2=2.18.3-1+cuda12.1 libnccl-dev=2.18.3-1+cuda12.1

内容的提问来源于stack exchange，提问作者Tsvi Sabo