AWS SageMaker中使用外部库开展模型训练的技术咨询

你碰到的所有问题都不是SageMaker的功能限制，本质是对自定义模式的使用逻辑不熟悉导致的。

关于官方SKLearn随机森林方案的普及度 #

你找到的官方示例对应的实现是生产级常用方案，根本不是小众玩法。大部分开发者用SageMaker跑自定义模型的时候很少专门发公开教程——因为脚本模式的逻辑和你本地跑Python代码几乎没有区别，只是把本地执行环境换成了SageMaker托管的算力，大家默认会直接把本地写好的sklearn、LightGBM、PyTorch代码改个文件路径就提交任务，很少有人专门写内容讲怎么导入外部库，才会让你觉得相关参考资料少。
用脚本模式跑外部库模型根本不需要从零搭环境：你只要在初始化SKLearn Estimator的时候，把依赖写到同目录的requirements.txt里，托管容器会自动帮你安装，不需要自己从头构建镜像。

你遇到的具体问题解决方案 #

• 端点仅支持predict不支持predict_proba：这是你写的推理脚本只实现了predict分支导致的。只需要在inference.py的predict_fn里加个参数判断就行，客户端调用端点的时候在请求体里加自定义字段比如{"invoke_method": "predict_proba"}，脚本里判断到这个字段就调用模型的predict_proba方法返回结果，原生sklearn模型的所有方法都可以用这个方式暴露，没有任何平台层面的限制。
• 缺少内置评估指标：你完全不需要从零开发指标计算逻辑。SageMaker的训练任务、Processing任务本身就是托管的Python运行时，你直接在训练/评估脚本里import sklearn.metrics就能用所有你列的accuracy_score、roc_auc_score、precision_score、recall_score、f1_score、confusion_matrix，计算完的结果可以存到S3生成评估报告，也可以推送到CloudWatch做监控，平台不会限制你使用第三方库的计算能力。你之前觉得缺内置指标，是把「内置算法自带的封装指标」和「自定义模式的开放能力」搞混了——内置算法是平台做好的封装选项，自定义模式下你能用到Python生态的所有能力。
• 可解释性能力不足：不需要自己从零写可解释性代码，SageMaker托管的Clarify服务可以直接对接你部署好的自定义端点，自动完成SHAP值计算、全局/局部特征重要性分析、数据偏差检测，不管是自定义SKLearn模型还是内置算法都能对接。

树模型选型建议 #

• 如果没有强需求绑定sklearn生态，优先选内置的xgboost classifier是性价比最高的选择。内置版本做了分布式训练优化，原生支持概率输出、内置了常用分类评估指标，训练、部署、调参的流程都是最省事的，数据集规模大的时候训练速度比原生sklearn随机森林快一个量级。
• 如果你必须用sklearn的随机森林（比如要兼容现有sklearn Pipeline、需要用到随机森林的特定属性做定制化分析），直接用官方的SKLearn Estimator脚本模式即可，整体额外工作量非常少：你只需要写两个短脚本，一个训练入口（逻辑和你本地写的训练代码差异不超过10行，主要是把本地文件路径换成S3路径），一个推理入口（实现你需要暴露的推理方法），不需要做额外的底层开发。

内容的提问来源于stack exchange，提问作者Justin Benfit