Celery连接AWS SQS报错：UndefinedQueueException问题求助

问题原因 #

当使用AWS SQS作为Celery Broker且配置了predefined_queues时，Celery默认不会自动创建任何队列——所有被使用的队列（包括Worker内部通信所需的pidbox队列）都必须提前在predefined_queues中声明。Worker启动时会创建pidbox队列用于接收远程控制指令（比如停止任务、查看状态等），如果该队列未预定义，就会抛出UndefinedQueueException错误。

解决方法 #

方法1：允许自动创建未预定义队列 #

在API端和Worker端的broker_transport_options中添加'allow_unknown_queues': True，让Celery自动创建内部需要的队列：

修改后的配置示例：

celery_client.conf.broker_transport_options = {
    'predefined_queues': {
        'queue_1': {
            'url': '<sqs url/queue_1>',
            'access_key_id': '...',
            'secret_access_key': '...',
        },
        'queue_2': {
            'url': '<sqs url/queue_2>',
            'access_key_id': '...',
            'secret_access_key': '...',
        }
    },
    'allow_unknown_queues': True  # 新增配置项
}

方法2：禁用Worker远程控制功能 #

如果不需要使用celery inspect、celery control这类远程控制命令，可以直接禁用该功能，Worker就不会尝试生成pidbox队列：

在Worker端的配置中添加以下两行：

celery_client.conf.worker_enable_remote_control = False
celery_client.conf.task_send_sent_event = False

方法3：手动预定义pidbox队列（不推荐） #

每个Worker的pidbox队列名称格式为{worker_id}-reply-celery-pidbox，可以通过设置固定前缀统一队列名称，再手动预定义：

celery_client.conf.broker_transport_options = {
    'predefined_queues': {
        'queue_1': {
            'url': '<sqs url/queue_1>',
            'access_key_id': '...',
            'secret_access_key': '...',
        },
        'queue_2': {
            'url': '<sqs url/queue_2>',
            'access_key_id': '...',
            'secret_access_key': '...',
        },
        'worker-pidbox': {
            'url': '<sqs url/worker-pidbox>',
            'access_key_id': '...',
            'secret_access_key': '...',
        }
    },
    'pidbox_queue_prefix': 'worker'  # 固定前缀，让所有Worker共用同一个pidbox队列
}

这种方式灵活性差，多个Worker共用队列可能产生冲突，仅适合测试场景。

内容的提问来源于stack exchange，提问作者mehekek