You need to enable JavaScript to run this app. AWS SageMaker运行训练脚本触发SM_NUM_GPUS键值KeyError问题求助
优惠活动
大模型
产品
解决方案
定价
更多

AWS SageMaker运行训练脚本触发SM_NUM_GPUS键值KeyError问题求助

SageMaker训练脚本KeyError报错根因与修复

核心报错根因

SM_NUM_GPUS是SageMaker托管训练作业启动容器时,由系统自动注入的专属环境变量,仅在提交正式的训练任务、运行在隔离的训练容器内时才会存在。你当前是在SageMaker自带的Jupyter交互式开发环境中直接运行脚本,不属于托管训练场景,系统不会注入这套SM前缀的环境变量,代码用os.environ['key']的硬索引方式读取不存在的键,自然触发KeyError。
你预先打印全量os.environ确认没有对应键值的现象,完全对应这个场景错配的问题,不存在环境配置异常的情况。

可落地修复步骤

  • 替换硬索引的环境变量读取方式为带兜底默认值的安全读取逻辑,从根源上避免不存在的键触发报错,同时适配交互式调试、托管训练两种运行场景。
    原问题代码的写法为:
    parser.add_argument('--training', type=str, default=os.environ['SM_CHANNEL_TRANING'])
    parser.add_argument('--gpu-count', type=int, default=os.environ['SM_NUM_GPUS'])
    
    改为安全读取的实现:
    # 给每个环境变量配置兜底默认值,交互场景用本地路径兜底,托管场景自动读取注入值
    default_train_path = os.environ.get('SM_CHANNEL_TRAINING', './local_debug_data/train')
    default_gpu_num = int(os.environ.get('SM_NUM_GPUS', '0'))
    parser.add_argument('--training', type=str, default=default_train_path)
    parser.add_argument('--gpu-count', type=int, default=default_gpu_num)
    
  • 修复代码内其余会触发后续报错的拼写、逻辑问题:
    • 修正变量名、内置名称的拼写错误:比如traning_dir与training_dir不统一、SM_CHANNEL_TRANING拼写错误(正确为SM_CHANNEL_TRAINING)、tenserflow拼写错误(正确为tensorflow)、to.categorical拼写错误(正确为to_categorical)
    • 补全未定义的变量引用:比如加载验证集路径的validation_dir、验证集对应的test_images/test_labels变量
    • 修正加载数据时的语法、逻辑错误:比如np.load的索引位置写错、将验证集label错误赋值给train_images的逻辑问题

场景适配说明

调试阶段直接在Jupyter环境运行脚本时,兜底的默认值会生效,脚本可以正常加载本地调试用的数据完成逻辑验证;正式提交托管训练作业时,只要在训练作业配置中正确关联训练、验证的输入数据通道,系统会自动注入对应的SM开头环境变量,脚本可以自动读取到正确的路径、GPU数量参数,不需要额外修改逻辑。

内容的提问来源于stack exchange,提问作者Sara Patel

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.28 13:54:09