本地加载SageMaker生成的XGBoost model.tar.gz文件报错求助

数据老陈

2026-8-11

解决SageMaker XGBoost模型本地加载的错误

问题分析

你遇到的两个错误本质是版本不兼容和内存/文件问题：

第一个错误：pickle.load无法加载SageMaker生成的xgboost-model文件，因为该文件是XGBoost原生二进制格式，不是pickle序列化产物，且本地XGBoost版本和SageMaker训练版本不一致。
第二个错误：std::bad_alloc通常是内存不足、模型文件损坏，或者版本不匹配导致的加载失败。

解决方案

1. 对齐XGBoost版本

SageMaker内置XGBoost的版本和本地环境必须一致：

在SageMaker笔记本中查看训练使用的版本：
```
import xgboost as xgb
print(xgb.__version__)
```

本地安装对应版本：

pip install xgboost==<SageMaker中的版本号>

2. 正确加载原生模型文件

解压model.tar.gz后，直接用XGBoost原生API加载，不要用pickle：

import xgboost as xgb
import tarfile

# 解压模型包
with tarfile.open('model.tar.gz', 'r:gz') as t:
    t.extractall()

# 加载模型
model = xgb.Booster()
model.load_model('xgboost-model')

3. 排查`std::bad_alloc`错误

如果仍报内存错误，按以下步骤排查：

检查模型大小：执行ls -lh xgboost-model查看模型文件大小，若模型过大（如超过本地内存容量），需换用内存更大的机器，或在SageMaker中对模型进行压缩/轻量化处理。
验证文件完整性：重新从S3下载model.tar.gz，对比本地文件和S3文件的MD5值，确保文件未损坏。
尝试JSON格式导出：在SageMaker笔记本中将模型导出为JSON格式，再下载到本地加载，JSON格式兼容性更好：
```
# SageMaker笔记本中执行
model.save_model('model.json')
```
本地加载：
```
model = xgb.Booster()
model.load_model('model.json')
```