You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

AWS SageMaker Batch Transform是否支持JPG图片?求批量推理方案

AWS SageMaker Batch Transform 图片批量推理方案

对.jpg格式的支持说明

SageMaker Batch Transform默认仅优化JSON、CSV等结构化数据的处理,但完全可以通过自定义推理脚本扩展支持.jpg等图片格式,并非只能局限于默认格式。不过如果不想改造Batch Transform,也有更贴合你需求的轻量化方案。

推荐方案(适配你的需求:每日低调用量、非实时、关联transaction_id、返回JSON)

方案1:改造Batch Transform实现图片推理

  • 准备输入清单:创建CSV/JSON文件,每行记录transaction_id和对应图片的S3路径(例:txn_001,s3://your-bucket/img/txn_001.jpg)
  • 编写自定义推理脚本:
    • 在input_fn中解析输入的transaction_id和S3路径,从S3拉取图片
    • 在predict_fn中加载YOLOv8模型执行推理
    • 在output_fn中将结果格式化为包含transaction_id的JSON
  • 打包模型与脚本:将YOLOv8模型文件(.pt/.engine)和推理脚本打包为.tar.gz上传至S3
  • 启动Batch Transform任务:指定输入清单文件和输出路径,任务完成后即可从S3获取批量JSON结果

方案2:SageMaker Processing + 自定义容器(更灵活)

如果觉得Batch Transform的改造步骤繁琐,可选择此方案:

  • 构建自定义容器:基于PyTorch官方镜像安装ultralytics等YOLOv8依赖
  • 编写处理脚本:遍历S3中的图片,通过文件名或映射文件关联transaction_id,加载模型推理后将结果保存为JSON到目标S3路径
  • 按需启动任务:每日手动或通过触发器调用几次Processing任务即可

方案3:Serverless Lambda方案(最轻量化)

适合低调用频率场景:

  • 模型部署:将YOLOv8模型打包到Lambda层(或存储在S3,Lambda启动时加载)
  • 编写Lambda函数:接收transaction_id列表,批量从S3拉取对应图片,执行推理后返回JSON格式的结果
  • 触发方式:可通过CloudWatch Events定时触发,或手动调用Lambda完成批量处理

注意事项

  • 确保IAM角色拥有S3读写、对应服务(SageMaker/Lambda)的执行权限
  • 推理环境需安装ultralytics及PyTorch等依赖,匹配YOLOv8模型的运行要求
  • 根据处理量设置合理的并发数,避免资源闲置或过载

内容的提问来源于stack exchange,提问作者Jeremy Lin

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.06.29 10:27:18