Celery+Redis如何实现同优先级任务按时间戳先后顺序执行

默认Celery配置不保障同优先级任务的提交顺序与调度/执行顺序一致，核心诱因有三点：

• Worker默认预取机制：worker_prefetch_multiplier默认值为4，每个工作进程会一次性拉取4个任务到本地缓存，多进程/多协程并发下的CPU调度差异，会导致后拉取的任务先执行完成
• 队列分发逻辑未绑定入队顺序：多Worker节点消费同一队列时，默认轮询分发没有严格校验入队时间，网络波动可能导致后提交的任务先被Worker获取
• 非FIFO消费策略：部分Broker（如Redis）开启优先级支持后默认用有序集合存储任务，若排序权重未绑定提交时间戳，同优先级任务会出现乱序

分两种保障等级配置，可按需选择：

等级1：保障同优先级任务调度顺序（Worker获取任务的顺序和提交顺序一致） #

该配置下多Worker可并行消费，仅保证任务从队列被派发给Worker的顺序和提交顺序一致，因不同任务执行时长、Worker负载差异，无法保证最终执行完成顺序和提交顺序完全一致。

1. 队列基础配置

from kombu import Queue

app.conf.task_queues = [
    Queue(
        "task_queue",
        # 开启优先级支持，数值根据实际需要的优先级档位设置即可
        queue_arguments={"x-max-priority": 10}
    )
]
app.conf.task_default_queue = "task_queue"

2. 调整预取与确认配置

# 每个Worker进程每次仅从队列拉取1个任务，执行完成后再拉取下一个
app.conf.worker_prefetch_multiplier = 1
# 任务执行完成后再向Broker发送确认，避免任务提前出队导致乱序或丢失
app.conf.task_acks_late = True

3. Broker适配配置

• 若用RabbitMQ作为Broker：无需额外配置，RabbitMQ原生优先级队列同优先级下默认按入队顺序FIFO分发
• 若用Redis作为Broker：添加如下配置，强制队列按FIFO逻辑排序同优先级任务

app.conf.broker_transport_options = {
    "queue_order_strategy": "priority",
    "priority_steps": list(range(10)),  # 和x-max-priority数值保持一致
    "sep": ":",
}

等级2：保障同优先级任务执行完成顺序严格和提交顺序一致 #

在等级1的配置基础上，追加如下配置：

# 强制单Worker单进程执行任务，从根源避免多进程CPU调度导致的完成顺序乱序
app.conf.worker_concurrency = 1

注意：该配置会降低任务吞吐量，仅在对顺序一致性要求极高的场景使用。

以下操作会破坏顺序保障，必须避免：

• 提交任务时不要使用countdown/eta/expires参数，这类定时任务会进入独立的调度缓冲区，不按主队列顺序派发
• 不要通过task_routes将同优先级任务路由到不同队列，不同队列间无全局顺序保障
• 不要开启任务重试的插队逻辑，默认重试任务会被重新放到队列头部，如需重试要设置retry_policy={'queue': 'task_queue'}保证重入到队尾

内容的提问来源于stack exchange，提问作者user128956