使用Petals官方示例时遭遇IndexError: tuple index out of range求助

核心原因分析 #

报错指向past_key_values[0][0].shape[2]索引越界，说明past_key_values是空元组或结构不符合预期，大概率是Petals客户端与transformers版本兼容性冲突，或是指定torch_dtype=torch.float32后，模型初始化环节的状态传递出现异常。

针对性解决步骤 #

• 锁定适配的transformers版本：Petals对transformers版本依赖严格，需安装与当前Petals版本匹配的transformers。例如Petals 1.3.x对应transformers 4.34.x，执行以下命令：

  pip install transformers==4.34.1
  

• 调整模型初始化参数：不要直接指定torch_dtype=torch.float32，改用torch_dtype="auto"让框架自动适配硬件，同时添加内存优化参数：

  model = AutoModelForCausalLM.from_pretrained(
      "stabilityai/StableBeluga2",
      device_map="auto",
      torch_dtype="auto",
      low_cpu_mem_usage=True,
      trust_remote_code=True
  ).to_hf_petals()
  

• 清除缓存并重启环境：删除Hugging Face缓存目录（默认路径~/.cache/huggingface/hub），重启Python环境，避免旧缓存干扰状态传递。
• 检查节点连接稳定性：初始化模型后添加日志确认节点连接状态，避免节点断开导致异常：

  print(f"已连接远程模块数量: {len(model.remote_modules)}")
  

验证方法 #

修改代码后重新运行generate函数，观察是否仍触发索引错误。若问题依旧，尝试切换到小型模型（如meta-llama/Llama-2-7b-chat-hf）测试，排除特定模型的适配问题。

内容的提问来源于stack exchange，提问作者jazz