Snowflake Tasks任务数量限制疑问:DAG深度还是直接关联限制?
Snowflake任务图限制规则解析
文档明确的限制规则
单个任务最多可关联100个前置任务和100个子任务。此外,任务图(包括根任务)在运行或暂停状态下的总任务数上限为1000个。
规则疑问解答
这两条规则和DAG深度无关,是两个独立的限制维度:
- 单个任务的直接关联限制:每个任务最多只能拥有100个直接前置任务,同时最多只能拥有100个直接子任务。间接关联的任务(比如子任务的子任务)不计入该任务的关联数统计。
- 任务图总规模限制:整个任务图中,处于运行或暂停状态的任务总数(包含根任务)不能超过1000个,和任务层级、关联路径无关。
预期架构合规性分析
你的架构中单个任务的直接子任务数均符合限制(根任务10个、Si任务40个、Sij任务5个,均≤100),但总任务数计算如下:
1(根任务) + 10(Si) + 10×40(Sij) + 10×40×5(Sijk) = 2411个
该总数远超任务图1000个任务的上限,因此不符合规则。
内容的提问来源于stack exchange,提问作者RDK
相关产品推荐
相关产品推荐

