如何实现每个S3事件触发独立Lambda执行Spring Batch任务？

1. 确认S3事件通知的触发模式 #

确保S3桶的事件通知是单个对象创建事件单独触发Lambda，而非批量触发：

• 登录AWS控制台，进入目标S3桶的「事件通知」配置页面
• 创建/编辑事件规则时，事件类型选择「所有对象创建事件」或「Put」（按需选择）
• 在「高级选项」中，开启「单独发送每个事件」（避免S3将多个文件事件打包发送给同一个Lambda实例）

2. 调整Lambda并发配置 #

Lambda默认有账户级并发限制（通常为1000），如果你的文件上传频率较高，需确保有足够并发额度：

• 进入Lambda函数的「配置」→「并发」页面
• 根据需求设置「预留并发」（保证该函数有固定的并发额度，不被其他函数挤占），或调整账户级并发限制

3. 修改Spring Batch程序，实现单文件独立处理 #

让Spring Batch任务仅处理当前Lambda触发的S3文件，且每次执行都是独立的Job实例：

• 在Lambda的handler方法中，解析S3事件获取当前文件的桶名和对象键
• 将文件信息作为Job参数传入Spring Batch，同时添加唯一标识（如时间戳）确保每次Job实例唯一
• 示例核心代码：

public class S3BatchHandler implements RequestHandler<S3Event, String> {
    private ApplicationContext springContext;

    @Override
    public String handleRequest(S3Event s3Event, Context lambdaContext) {
        // 懒加载Spring上下文，复用Lambda容器实例
        if (springContext == null) {
            springContext = new AnnotationConfigApplicationContext(BatchConfig.class);
        }

        // 获取当前触发的S3文件信息
        S3EventNotificationRecord eventRecord = s3Event.getRecords().get(0);
        String bucket = eventRecord.getS3().getBucket().getName();
        String objectKey = eventRecord.getS3().getObject().getKey();

        // 构建唯一的Job参数
        JobParameters jobParams = new JobParametersBuilder()
                .addString("s3Bucket", bucket)
                .addString("s3ObjectKey", objectKey)
                .addLong("triggerTime", System.currentTimeMillis()) // 避免Job实例重复
                .toJobParameters();

        // 启动Spring Batch任务
        try {
            JobLauncher launcher = springContext.getBean(JobLauncher.class);
            Job xmlParseJob = springContext.getBean("xmlParsingJob", Job.class);
            launcher.run(xmlParseJob, jobParams);
            return "处理完成：" + objectKey;
        } catch (Exception e) {
            e.printStackTrace();
            return "处理失败：" + objectKey;
        }
    }
}

4. 保证任务幂等性 #

由于S3事件可能重复触发，需确保Spring Batch任务不会重复处理同一文件：

• 处理完成后，将文件移动到S3的「已处理」目录
• 或在数据库中记录已处理的objectKey，每次执行前先检查是否已处理

5. 验证执行效果 #

上传多个间隔几秒的文件到S3，通过Lambda的CloudWatch监控查看「并发执行」指标，确认每个文件都触发了独立的Lambda实例。

内容的提问来源于stack exchange，提问作者Laurent NAVET