通过AWS SQS队列触发AWS Batch作业的方案是否可行？

该方案完全具备可行性，AWS生态原生支持该触发链路，无需引入第三方服务，也无需长期运行常驻进程监听队列，可实现完全按需触发、资源仅按作业实际使用量计费。

整个链路仅需要新增一个轻量Lambda作为中转触发层，Lambda仅负责调用Batch提交作业的接口，不会运行你的批处理作业本身，单次调用耗时通常在百毫秒级，完全不会触碰到Lambda的15分钟时长上限，适配你的数小时级作业运行需求，具体操作如下：

• 配置SQS队列作为Lambda的触发器，设置合适的批量接收条数、可见性超时时间
• 编写Lambda函数代码，核心逻辑为解析SQS消息内容、调用SubmitJob接口提交Batch作业，极简Python示例如下：

import boto3

batch_client = boto3.client('batch')

def lambda_handler(event, context):
    # 遍历SQS触发的消息批量处理
    for record in event['Records']:
        sqs_msg_content = record['body']
        # 提交Batch作业，可按需将SQS消息参数传入作业
        submit_resp = batch_client.submit_job(
            jobName='sqs-triggered-long-running-job',
            jobQueue='替换为你的Batch作业队列ARN',
            jobDefinition='替换为你的作业定义名称:版本号',
            parameters={
                "input_params": sqs_msg_content
            }
        )
        print(f"Batch作业提交成功，作业ID: {submit_resp['jobId']}")

• 配置Lambda执行角色的权限，添加两类必要权限：
  • SQS队列的消费权限：sqs:ReceiveMessage、sqs:DeleteMessage、sqs:GetQueueAttributes
  • AWS Batch的作业提交权限：batch:SubmitJob
• 可选配置错误兜底逻辑：给SQS队列设置死信队列，当作业提交失败、Batch作业运行异常时，未处理的消息会自动转入死信队列避免丢失。

• 你现有Batch作业的代码、配置无需做任何修改，仅需要新增上述中转触发层即可
• Lambda资源成本极低：单月百万级触发请求的总成本通常不到1美元
• SQS消息最长可配置14天保留时长，完全适配数小时级的作业运行周期，不会出现消息提前过期的问题
• 可通过调整SQS触发器的批量接收条数，实现单Lambda调用批量提交多个作业，适配高吞吐量的触发场景

内容的提问来源于stack exchange，提问作者Ashish Joseph