You need to enable JavaScript to run this app. 如何加载微调后的BERT模型用于句子编码及ReadError报错解决
优惠活动
大模型
产品
解决方案
定价
更多

如何加载微调后的BERT模型用于句子编码及ReadError报错解决

报错核心原因
  • 你当前调用BertModel.from_pretrained加载.pt文件报错的本质,是两类模型存储格式完全不兼容:
    • BertModel.from_pretrained 仅支持加载符合Huggingface Transformers规范的模型权重:包括预训练模型目录(内含config.json、压缩格式的pytorch_model.bin权重文件)、在线拉取的官方预训练源,本身不具备解析原生torch.save 保存的整模型.pt文件的能力。
    • 你存储模型时用的是torch.save(model, buffer)逻辑,落盘的是完整PyTorch模型对象的二进制快照,和from_pretrained要求的gzip压缩权重格式结构完全不同,所以才会触发ReadError: not a gzip file的报错。
正确加载实现步骤
  1. 先从S3桶读取你存的.pt文件内容到内存缓冲区,不要直接把S3路径传给模型加载方法
    # 从S3拉取模型对象到内存
    s3_obj = s3_.get_object(
        Bucket="power-plant-embeddings",
        Key=output_folder + "trained_model.pt"
    )
    model_bytes_buffer = io.BytesIO(s3_obj["Body"].read())
    
  2. 用PyTorch原生的torch.load替代from_pretrained完成模型加载
    # 按你训练时使用的运行设备调整map_location,CPU就写torch.device('cpu'),GPU就写对应的cuda设备
    model = torch.load(model_bytes_buffer, map_location=torch.device('cpu'))
    model.eval()
    
    这个逻辑和你当初存模型时的torch.save(model, buffer)是完全对应的,能直接还原你训练完保存的模型实例。
常见踩坑提醒
  • 加载时如果报类定义找不到的错误,需要保证当前加载代码的BERT类导入路径,和你当初训练微调时使用的导入路径完全一致。比如你训练时是从pytorch_pretrained_bert库导入的BertModel,加载时也要使用同一个导入来源,否则torch.load无法匹配模型对应的类定义会抛出异常。
  • 如果后续需要兼容from_pretrained的加载方式,可以在加载完成整模型后,调用model.save_pretrained('./bert_local_dir')把模型转成Huggingface规范的目录结构,自动生成对应的config.json和非整对象格式的权重文件,之后就可以正常用from_pretrained加载本地目录了。
  • 不要尝试把S3上的.pt文件路径直接传给from_pretrained,既没有格式适配性,也容易出现路径权限、格式解析的双重问题。

内容的提问来源于stack exchange,提问作者spadel

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.29 09:06:10