Celery任务图中如何获取全部任务ID？

问题场景 #

需要构建这样的任务流程：并行执行t1中所有任务→等待完成后执行f1→再并行执行t2中所有任务→最后执行f2。目标是获取流程中所有任务的ID，但用chain串联chord的写法无法拿到完整ID集合，换成chain+group+单任务的写法却可以。

基础代码定义 #

from celery import Celery, group, chord, chain
from tasks import add, mul

t1 = [add.s(1,2), add.s(3,4), add.s(5,6)]
f1 = mul.s(2,2)
t2 = [add.s(1,2), add.s(3,4), add.s(5,6)]
f2 = mul.s(3,4)

问题写法（ID缺失） #

用chain直接串联两个chord：

chain_task1 = chain(chord(t1, f1), chord(t2, f2))
res1 = chain_task1.apply_async()
# 输出的tuple仅包含5个任务ID，缺失了t2组内任务和f2的ID
print(res1.as_tuple())
# Output: (('5ba907d3-6daa-43a6-9c8d-0edaa9b359d4', (('6dcace43-9187-4ae3-8cfb-e5f298e2651a', None), [(('ea493ce4-10ea-43c0-8d1d-7e7d1a6491f2', None), None), (('577f24b7-3bde-47b9-be7a-5db45d07f01d', None), None), (('c29ca951-1a11-489b-83d5-f22bc326c39e', None), None)])), None)

可行写法（完整ID） #

改用chain依次串联group、单任务的方式：

chain_task2 = chain(group(t1), f1, group(t2), f2)
res2 = chain_task2.apply_async()
# 输出的tuple包含全部10个任务ID
print(res2.as_tuple())
# Output: (('b6125ca6-41f5-4310-8df8-8c632c9ea268', (('8a7bac12-a556-4087-bf20-4de9ccaed22a', (('dd3bd05f-b56c-428a-9ed2-ac09dd2d3960', (('6e5f3fe3-df02-482f-99fc-b9385d74255e', None), [(('e7219ae2-7f53-45ce-b59f-fa168f97b7c4', None), None), (('3804f8ee-ea01-4554-a1c6-66be220ab214', None), None), (('c2a402c0-5401-4931-abf0-4e7275cf198d', None), None)])), None)), [(('1992ef83-836a-457c-8aa4-90875be0ad9a', None), None), (('b9636615-7d24-4af0-9843-9dcfb9163c61', None), None), (('f597050e-e6c4-4c95-9283-681d80ad020d', None), None)])), None)

原因分析 #

问题出在Celery对chord的parent属性处理上：

• chord本质是group + 回调任务的组合，当把整个chord作为chain的一个节点时，chord内部的回调任务（比如f1）的parent属性会被chain的节点逻辑覆盖，导致调用as_tuple()序列化任务图时，无法正确遍历到后续chord中的任务节点，最终丢失部分ID。
• 而用chain(group(t1), f1, group(t2), f2)的写法，每个group和单任务都是chain的独立节点，任务之间的依赖关系被明确维护，as_tuple()可以完整遍历所有任务节点，自然能拿到全部ID。

结论 #

如果需要获取任务图中所有任务的ID，优先使用chain串联group和单任务的方式来实现“并行任务组→回调→并行任务组→回调”的流程，而非直接串联chord。两种写法的执行逻辑完全一致，但前者能保证as_tuple()返回完整的任务ID集合。

内容的提问来源于stack exchange，提问作者Marco Milanta