SageMaker Debugger生成超出请求的集合原因咨询
SageMaker Debugger 生成额外Collections的原因
- Debugger自带默认采集规则:不管你手动指定了多少个collections,它都会自动创建一些通用的默认集合,比如
gradients、weights、biases、losses这类,目的是覆盖大多数常见的调试场景,不用用户手动配置每一类基础张量的采集。 - 框架自动关联捕捉:如果你用的是TensorFlow、PyTorch这类主流框架,Debugger会自动和框架的计算图挂钩,捕捉框架层面默认追踪的张量,这些张量会被归类到额外的collections中。
- 并非预留给后续按需使用:这些额外的collections是Debugger的默认行为,不是提前准备好给你后续按需调用的,而是在训练过程中就直接采集了对应的数据。
- 自定义过滤方法:如果只想保留你指定的4个collections,可以在Debugger配置里设置
save_all=False,或者通过include_regex、exclude_regex明确过滤掉不需要的默认集合。
内容的提问来源于stack exchange,提问作者Philipp Schmid
相关产品推荐
相关产品推荐

