sglang加载Mistral-7B-Instruct模型时因识别为Llama类型报错

环境信息 #

• Python版本：3.13.5
• SGLang版本：0.4.6.post5

问题描述 #

执行启动命令：

uv run -m sglang.launch_server --model-path mistralai/Mistral-7B-Instruct-v0.3

触发以下错误：

TypeError: unsupported operand type(s) for *: 'int' and 'NoneType'

调试确认self.head_dim为NoneType，且SGLang错误将Mistral系列模型（v0.1/v0.2/v0.3）识别为Llama模型，导致初始化失败。

解决方案 #

1. 强制指定模型类型 #

启动时通过--json-model-override-args参数明确指定模型类型为mistral，避免SGLang错误识别。完整命令：

uv run -m sglang.launch_server --model-path mistralai/Mistral-7B-Instruct-v0.3 --json-model-override-args '{"model_type": "mistral"}'

2. 升级SGLang到最新版本 #

当前使用的0.4.6.post5可能存在模型识别bug，尝试安装最新开发版修复问题：

uv pip install git+https://github.com/sgl-project/sglang.git

3. 手动修改源码（临时方案） #

若前两种方法无效，可手动调整SGLang的模型加载逻辑：

• 找到SGLang安装目录下的srt/model_loader/loader.py文件
• 在模型类选择的逻辑中，添加对Mistral模型的判断，确保使用对应的模型实现类，示例代码：

  # 在模型类识别部分添加
  if "mistral" in model_config.hf_config.model_type.lower():
      from sglang.srt.models.mistral import MistralForCausalLM
      model_class = MistralForCausalLM
  

  注意：此修改会在SGLang更新后被覆盖，仅作为临时应急方案。

问题原因 #

Mistral与Llama模型的配置字段定义存在差异，SGLang的自动模型识别逻辑错误将Mistral归类为Llama，导致head_dim未被正确初始化，进而在计算rotary_dim时触发类型错误。

内容的提问来源于stack exchange，提问作者cola