咨询:Amazon SageMaker内置目标检测算法是否支持分布式训练及提速方法
问题解答
你的判断不对,Amazon SageMaker内置的目标检测算法支持多实例分布式训练,只是你用错了数据配置方式。
报错的原因是该算法当前不支持多RecordIO文件配合ShardedByS3Key的配置逻辑,你可以试试以下两种解决方法:
- 将所有训练数据合并为单个RecordIO文件,保持训练通道的
ShardedByS3Key配置不变。这样分布式训练时,每个实例会自动分片读取这个大文件的不同段落,实现数据并行来缩短训练时长。 - 如果不想合并文件,可以基于内置算法的镜像自定义训练脚本,自己实现多RecordIO文件的分布式数据加载逻辑,但这需要额外的代码开发工作。
另外要注意,训练实例要选支持分布式的类型(比如ml.p3系列),同时在训练任务配置里正确设置instance_count大于1,内置算法默认支持数据并行,无需额外配置分布式框架。
内容的提问来源于stack exchange,提问作者Francesco Pochetti
相关产品推荐
相关产品推荐

