AWS ECS上Django+Celery环境下SQS队列休眠问题处理咨询

核心结论 #

可以直接从Django发送消息保持SQS活跃，但更高效的是使用AWS原生服务，既避免占用应用资源，又能精准控制不触发Celery Worker扩缩容。

最优方案：AWS EventBridge + Lambda（无应用依赖） #

这是最推荐的方式，完全依托AWS生态，成本极低且无需修改应用代码：

• 配置EventBridge规则，设置每小时触发一次
• 目标绑定Lambda函数，函数逻辑为：向目标SQS队列发送一条keep-alive消息，立即读取并删除该消息
• 队列产生发送+接收+删除的操作，打破闲置状态，避免休眠
• 由于消息被立即删除，MessagesVisible不会累积，完全不会触发Worker的自动扩缩容

Lambda示例代码（Python）：

import boto3

sqs_client = boto3.client('sqs')
TARGET_QUEUE_URL = "你的Celery队列URL"

def lambda_handler(event, context):
    # 发送存活消息
    send_resp = sqs_client.send_message(
        QueueUrl=TARGET_QUEUE_URL,
        MessageBody="sqs-keep-alive"
    )
    
    # 立即读取并删除消息，避免MessagesVisible留存
    receive_resp = sqs_client.receive_message(
        QueueUrl=TARGET_QUEUE_URL,
        MaxNumberOfMessages=1,
        WaitTimeSeconds=2
    )
    
    if "Messages" in receive_resp:
        receipt_handle = receive_resp["Messages"][0]["ReceiptHandle"]
        sqs_client.delete_message(
            QueueUrl=TARGET_QUEUE_URL,
            ReceiptHandle=receipt_handle
        )
    
    return {"status": "success", "message": "SQS keep-alive completed"}

备选方案：Django定时发送特殊消息 #

如果必须依托Django服务实现，可按以下步骤操作：

1. 发送非Celery格式消息：使用boto3直接调用SQS API发送不被Celery识别的消息（比如{"keep-alive": true}），避免Worker触发任务执行
2. 配置Django定时任务：用django-crontab或APScheduler实现每小时执行一次发送逻辑
3. 过滤无效消息（可选）：在Celery Worker中添加消息过滤逻辑，直接丢弃这类存活消息，避免报错

Django定时任务示例：

• 安装django-crontab后，在settings.py中配置：

CRONJOBS = [
    # 每小时执行一次存活消息发送
    ('0 * * * *', 'yourapp.utils.send_sqs_keepalive', '>> /var/log/sqs_keepalive.log 2>&1')
]

• 实现发送函数：

# yourapp/utils.py
import boto3
from django.conf import settings

def send_sqs_keepalive():
    sqs_client = boto3.client('sqs', region_name=settings.AWS_REGION)
    # 从Celery配置中解析队列URL
    queue_url = settings.CELERY_BROKER_URL.split("//")[-1]
    
    sqs_client.send_message(
        QueueUrl=queue_url,
        MessageBody='{"keep-alive": true}'
    )

注意：此方案要求Django API服务必须持续运行（不能缩容到0），否则定时任务无法触发。

关键原理 #

AWS SQS的休眠机制基于队列的闲置时长（无任何读写操作），只要定期产生队列活动就能避免休眠。通过控制消息的生命周期（发送后立即删除）或发送Celery不处理的消息，确保MessagesVisible指标不会上升，从而不会触发Worker的自动扩缩容，完全避免额外成本。

内容的提问来源于stack exchange，提问作者Adrian