Kubeflow dsl.ParallelFor忽略parallelism参数问题求助
dsl.ParallelFor parallelism 参数不生效导致资源配额超标问题 dsl.ParallelFor相关文档不完善,推测parallelism参数用于控制可并行启动的Pod数量- 将
parallelism设置为1后,DAG可视化界面显示循环内所有任务均被启动,触发资源配额超限报错 - 具体报错信息:
该步骤处于Pending状态,提示:Pod "pipeline-pdtbc-2302481418" 被禁止:超出配额:kf-resource-quota,已请求CPU=1500m,已使用CPU=35100m,配额上限CPU=36
- 预期行为:设置
parallelism=1时任务应逐个执行,不会占用过多CPU资源,但实际与预期不符
内容的提问来源于stack exchange,提问作者Hanan Shteingart
相关产品推荐
相关产品推荐

