AWS SageMaker运行训练脚本触发SM_NUM_GPUS键值KeyError问题求助
SageMaker训练脚本KeyError报错根因与修复
核心报错根因
SM_NUM_GPUS是SageMaker托管训练作业启动容器时,由系统自动注入的专属环境变量,仅在提交正式的训练任务、运行在隔离的训练容器内时才会存在。你当前是在SageMaker自带的Jupyter交互式开发环境中直接运行脚本,不属于托管训练场景,系统不会注入这套SM前缀的环境变量,代码用os.environ['key']的硬索引方式读取不存在的键,自然触发KeyError。
你预先打印全量os.environ确认没有对应键值的现象,完全对应这个场景错配的问题,不存在环境配置异常的情况。
可落地修复步骤
- 替换硬索引的环境变量读取方式为带兜底默认值的安全读取逻辑,从根源上避免不存在的键触发报错,同时适配交互式调试、托管训练两种运行场景。
原问题代码的写法为:
改为安全读取的实现:parser.add_argument('--training', type=str, default=os.environ['SM_CHANNEL_TRANING']) parser.add_argument('--gpu-count', type=int, default=os.environ['SM_NUM_GPUS'])# 给每个环境变量配置兜底默认值,交互场景用本地路径兜底,托管场景自动读取注入值 default_train_path = os.environ.get('SM_CHANNEL_TRAINING', './local_debug_data/train') default_gpu_num = int(os.environ.get('SM_NUM_GPUS', '0')) parser.add_argument('--training', type=str, default=default_train_path) parser.add_argument('--gpu-count', type=int, default=default_gpu_num) - 修复代码内其余会触发后续报错的拼写、逻辑问题:
- 修正变量名、内置名称的拼写错误:比如
traning_dir与training_dir不统一、SM_CHANNEL_TRANING拼写错误(正确为SM_CHANNEL_TRAINING)、tenserflow拼写错误(正确为tensorflow)、to.categorical拼写错误(正确为to_categorical) - 补全未定义的变量引用:比如加载验证集路径的
validation_dir、验证集对应的test_images/test_labels变量 - 修正加载数据时的语法、逻辑错误:比如np.load的索引位置写错、将验证集label错误赋值给
train_images的逻辑问题
- 修正变量名、内置名称的拼写错误:比如
场景适配说明
调试阶段直接在Jupyter环境运行脚本时,兜底的默认值会生效,脚本可以正常加载本地调试用的数据完成逻辑验证;正式提交托管训练作业时,只要在训练作业配置中正确关联训练、验证的输入数据通道,系统会自动注入对应的SM开头环境变量,脚本可以自动读取到正确的路径、GPU数量参数,不需要额外修改逻辑。
内容的提问来源于stack exchange,提问作者Sara Patel
相关产品推荐
相关产品推荐

