视频输入能否直接运行SageMaker推理/批量转换及预处理咨询

Amazon SageMaker 的实时推理（Inference）、批量转换（Batch Transform）能力没有提供.mp4等视频格式的开箱即用支持。
这两个服务本身只负责把请求传入的字节流、S3路径下的文件原封不动投递到你部署的模型容器中，不会自动做视频解码、抽帧这类处理。你直接传.mp4文件的话，模型代码拿到的就是完整的视频二进制流，如果推理代码里没有写对应解码逻辑，作业会直接报错。

• 先统一抽帧标准：根据任务类型定抽帧规则，比如内容分类场景按1~2秒1帧抽即可，动作识别、安全检测类任务要保留所有关键帧，抽帧后统一调整到模型要求的分辨率、归一化参数，存为图片序列或者序列化的数组文件，不要把重复的解码计算放到推理环节做，浪费算力还拖慢速度。
• 短视频实时推理场景：如果单条视频时长在1分钟以内、对延迟要求高，可以直接把轻量解码逻辑打包进推理镜像，在inference.py里用OpenCV、FFmpeg-python处理传入的mp4字节流，抽帧完成后送进模型推理，最后把多帧结果做聚合返回即可。记得给推理实例配足够的vCPU和内存，避免解码占满资源导致请求超时。
• 大规模批量处理场景：别把视频解码逻辑放到Batch Transform作业里跑，会严重拉低吞吐量。先单独启动一个SageMaker Processing作业，用FFmpeg、PyAV把S3上存的批量mp4文件统一解码抽帧，按「单个视频对应一个独立文件夹存帧序列/单个打包好的npz/pt文件」的规则存回S3，再启动Batch Transform作业读取预处理好的结构化数据推理，整体处理效率能提升近一半，成本也更低。
• 长视频提前分片：时长超过10分钟的长视频，不管是实时还是批量场景，都不要整文件传入。预处理阶段先按30秒~1分钟的固定时长切分视频分片，每个分片单独抽帧、单独推理，最后再按时间线把分片结果拼接起来，能避免单请求体积过大导致的网络超时、内存溢出问题。
• 加前置校验逻辑：预处理环节统一排查损坏的视频文件、编码不兼容的文件（比如部分特殊编码的HEVC视频），提前转成H.264通用编码，避免推理作业跑到一半因为文件异常中断，浪费算力。

内容的提问来源于stack exchange，提问作者Alexender Iotko