低流量碳捕获模拟网站AWS Fargate/ECS架构优化咨询

背景 #

• 网站为碳捕获地球化学模拟器，每月仅5-10次访问
• 核心需求：单次模拟需1-2核CPU、12GB内存，耗时约1分钟
• 目标：提升AWS基础设施效率，解决资源适配与闲置浪费问题

当前Fargate部署架构 #

• 一个ECS服务包含两个容器：service容器（处理前端交互）、worker容器（运行Redis服务器+Redis-Queue Worker）
• 模拟任务通过Redis-Queue提交到worker容器执行

现有问题 #

• CloudWatch自动伸缩方案不可行：资源配置过低时任务直接崩溃，自动伸缩仅新增容器，无法为正在运行的任务扩容资源
• 固定运行的worker容器在闲置时持续消耗资源，无法按需休眠缩容

补充技术细节 #

使用Redis-Queue实现任务队列，核心代码如下：

worker.py（运行在worker容器） #

import os
import redis
from rq import Worker, Queue, Connection

listen = ['default']
redis_url = os.getenv('REDISTOGO_URL', 'redis://name_of_host:6379') #remote redis

conn = redis.from_url(redis_url)

if __name__ == '__main__':
    with Connection(conn):
        worker = Worker(list(map(Queue, listen)))
        worker.work()

server.py（运行在service容器） #

from rq import Queue
from rq.job import Job
q = Queue(connection=conn)
job = q.enqueue(program_name, args=(a, b, c, d),job_timeout=500)

重构架构建议（基于AWS Batch） #

1. 核心架构调整 #

• 替换ECS Fargate Worker为AWS Batch：利用Batch的按需调度能力，仅在有任务时启动计算资源，闲置时自动释放，完美匹配低流量场景
• 独立托管Redis服务：将Redis从worker容器迁移到ElastiCache for Redis（按需付费版），无需自行维护服务器，支持自动备份与高可用，闲置时可配置缩容甚至停止实例

2. 具体实施步骤 #

步骤1：部署ElastiCache for Redis

• 创建单节点按需模式的ElastiCache Redis集群（满足低流量需求）
• 配置安全组，允许service容器和Batch计算环境访问Redis端口（6379）
• 更新环境变量REDISTOGO_URL为ElastiCache的端点地址

步骤2：配置AWS Batch环境

• 计算环境：创建基于Fargate的计算环境，设置资源上限（2vCPU、12GB内存），启用SPOT模式进一步降低成本
• 作业队列：创建专用队列关联上述计算环境
• 作业定义：定义模拟任务的容器镜像（包含模拟程序+依赖），指定资源需求（1-2vCPU、12GB内存）

步骤3：修改任务提交逻辑

• 移除原worker容器与Redis-Queue Worker逻辑
• 在server.py中替换为AWS Batch API提交作业：

import boto3

batch_client = boto3.client('batch')

def submit_simulation_job(a, b, c, d):
    response = batch_client.submit_job(
        jobName='co2-simulation-job',
        jobQueue='your-batch-queue-name',
        jobDefinition='your-job-definition-name',
        containerOverrides={
            'environment': [
                {'name': 'PARAM_A', 'value': str(a)},
                {'name': 'PARAM_B', 'value': str(b)},
                {'name': 'PARAM_C', 'value': str(c)},
                {'name': 'PARAM_D', 'value': str(d)}
            ]
        }
    )
    return response['jobId']

步骤4：前端状态与结果优化

• 调用AWS Batch的describe_jobs API替代Redis-Queue的状态查询，获取任务的SUBMITTED/RUNNING/SUCCEEDED/FAILED状态
• 将模拟结果存储到S3桶，任务完成后前端从S3下载展示

3. 成本优化要点 #

• ElastiCache使用按需实例，通过CloudWatch告警实现长时间闲置时自动停止，需要时再启动
• Batch计算环境采用SPOT实例，相比按需实例节省约70%成本
• ECS service容器配置最小资源（如0.25vCPU、0.5GB内存），仅处理前端交互与任务提交

4. 备选方案（保留Redis-Queue） #

若不想完全替换Redis-Queue，可调整如下：

• 将Redis迁移到ElastiCache
• 使用ECS Fargate Spot实例作为worker容器，配置事件驱动伸缩：通过CloudWatch监控Redis队列待处理任务数，任务数>0时启动worker容器，任务数=0时停止所有worker
• 为worker容器配置足够资源（1-2vCPU、12GB内存），确保单个worker即可处理任务

内容的提问来源于stack exchange，提问作者Hamish Robertson