使用AutoModel.from_pretrained实例化CodeBert遇RuntimeError求助

你的Transformers版本（4.31.0）中用到了基于PyTorch meta 设备的逻辑，但你使用的PyTorch 1.8.1版本不支持meta设备——这个设备类型是PyTorch 1.10及以上版本才新增的特性，老版本无法识别，因此触发了RuntimeError。

有两种可行方案：

• 升级PyTorch版本：将PyTorch升级到1.10及以上版本（推荐1.13.x或2.x系列，和Transformers 4.31.0兼容性更好），升级后就能支持meta设备，代码无需修改即可正常运行。
  针对cu111的升级命令示例：

  pip install torch==1.13.1+cu111 torchvision==0.14.1+cu111 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu111
  

• 降级Transformers版本：如果不想升级PyTorch，可将Transformers降级到和1.8.1兼容的旧版本，比如4.27.x及以下版本。
  降级命令示例：

  pip install transformers==4.27.4
  

内容的提问来源于stack exchange，提问作者Marco Tomasone