如何加载微调后的BERT模型用于句子编码及ReadError报错解决
报错核心原因
- 你当前调用
BertModel.from_pretrained加载.pt文件报错的本质,是两类模型存储格式完全不兼容:BertModel.from_pretrained仅支持加载符合Huggingface Transformers规范的模型权重:包括预训练模型目录(内含config.json、压缩格式的pytorch_model.bin权重文件)、在线拉取的官方预训练源,本身不具备解析原生torch.save保存的整模型.pt文件的能力。- 你存储模型时用的是
torch.save(model, buffer)逻辑,落盘的是完整PyTorch模型对象的二进制快照,和from_pretrained要求的gzip压缩权重格式结构完全不同,所以才会触发ReadError: not a gzip file的报错。
正确加载实现步骤
- 先从S3桶读取你存的.pt文件内容到内存缓冲区,不要直接把S3路径传给模型加载方法
# 从S3拉取模型对象到内存 s3_obj = s3_.get_object( Bucket="power-plant-embeddings", Key=output_folder + "trained_model.pt" ) model_bytes_buffer = io.BytesIO(s3_obj["Body"].read()) - 用PyTorch原生的
torch.load替代from_pretrained完成模型加载
这个逻辑和你当初存模型时的# 按你训练时使用的运行设备调整map_location,CPU就写torch.device('cpu'),GPU就写对应的cuda设备 model = torch.load(model_bytes_buffer, map_location=torch.device('cpu')) model.eval()torch.save(model, buffer)是完全对应的,能直接还原你训练完保存的模型实例。
常见踩坑提醒
- 加载时如果报类定义找不到的错误,需要保证当前加载代码的BERT类导入路径,和你当初训练微调时使用的导入路径完全一致。比如你训练时是从
pytorch_pretrained_bert库导入的BertModel,加载时也要使用同一个导入来源,否则torch.load无法匹配模型对应的类定义会抛出异常。 - 如果后续需要兼容
from_pretrained的加载方式,可以在加载完成整模型后,调用model.save_pretrained('./bert_local_dir')把模型转成Huggingface规范的目录结构,自动生成对应的config.json和非整对象格式的权重文件,之后就可以正常用from_pretrained加载本地目录了。 - 不要尝试把S3上的.pt文件路径直接传给
from_pretrained,既没有格式适配性,也容易出现路径权限、格式解析的双重问题。
内容的提问来源于stack exchange,提问作者spadel
相关产品推荐
相关产品推荐

