基于Node.js Lambda实现多文件抓取写入AWS S3的问题咨询

我从SQS消息中获取图片URL数组，需将图片下载后存储到AWS S3桶中；若下载或存储失败，需捕获错误并将该图片推送至另一SQS队列以便后续重试。当前代码可完成下载存储，但无法获取fetch和putObject的执行结果，同时不确定实现方式是否最优。

当前代码 #

const AWS = require("aws-sdk");
const fetch = require("node-fetch")
const s3 = new AWS.S3();

exports.handler = function(event, context) {

    // SQS may invoke with multiple messages
    for (const message of event.Records) {
        const bodyData = JSON.parse(message.body);
        const bucket = 'my_images_bucket';
        const images = bodyData.images;

        let urls = [];

        for (const image of images) {
            urls.push(image);
        }

        let promises = urls.map(image => {
            fetch(image)
                .then((response) => {
                    if (!response.ok) {
                        throw new Error('An error occurred while fetching ' + image + ': ' + response.statusText);
                    }
                    return response;
                })
                .then(async res => {
                    try {
                        const buffer = await res.buffer();

                        console.log(image);

                        // store
                        return s3.putObject(
                            {
                                Bucket: bucket,
                                Key: image,
                                Body: buffer,
                                ContentType: "image/jpeg"
                            }
                        ).promise();

                    } catch (e) {
                        console.log('An error occurred while storing image ' + image + ': ' + e);
                    }
                })
                .catch((error) => {
                    console.error(error);
                });
        });

        Promise.all(promises)
            .then(d => {
                console.log('All images downloaded.');
                console.log('PromiseAll result: ' + d);
            }).catch(e => {
            console.log('Whoops something went wrong!', e);
        });
    }
}

当前输出 #

INFO All images downloaded.
INFO PromiseAll result: ,,,,
INFO https://myserver/10658272812/image14.jpg
INFO https://myserver/10658272810/image12.jpg
INFO https://myserver/10658272804/image6.jpg
INFO https://myserver/10658272813/image15.jpg
INFO https://myserver/10658272816/image18.jpg 

问题分析与优化方案 #

1. 核心问题定位 #

• urls.map中的函数未返回fetch的Promise实例，导致promises数组全为undefined，Promise.all自然无法获取有效结果。
• 内部catch块吃掉了错误，既无法让Promise.all感知失败，也没有返回错误相关状态，无法追踪失败任务。
• 冗余的urls数组转换：直接使用images数组即可，无需循环push。

2. 优化后代码实现 #

const AWS = require("aws-sdk");
const fetch = require("node-fetch");
const s3 = new AWS.S3();
const sqs = new AWS.SQS({ region: "你的AWS区域" }); // 替换为实际区域

exports.handler = async function(event, context) {
    // 替换为实际的重试队列URL
    const retryQueueUrl = "https://sqs.你的区域.amazonaws.com/账号ID/重试队列名称";

    for (const message of event.Records) {
        const bodyData = JSON.parse(message.body);
        const bucket = "my_images_bucket";
        const images = bodyData.images;

        // 批量处理所有图片，返回带状态的结果
        const processPromises = images.map(async (imageUrl) => {
            try {
                // 下载图片
                const response = await fetch(imageUrl);
                if (!response.ok) {
                    throw new Error(`下载失败: ${imageUrl} - ${response.statusText}`);
                }
                const buffer = await response.buffer();

                // 上传到S3
                const s3Result = await s3.putObject({
                    Bucket: bucket,
                    Key: imageUrl, // 建议：URL含特殊字符时，用哈希值生成安全Key，比如crypto.createHash('md5').update(imageUrl).digest('hex')
                    Body: buffer,
                    ContentType: "image/jpeg"
                }).promise();

                console.log(`处理成功: ${imageUrl}`);
                return { url: imageUrl, success: true, s3Result };
            } catch (error) {
                console.error(`处理失败: ${imageUrl}`, error);
                // 推送失败任务到重试队列
                await sqs.sendMessage({
                    QueueUrl: retryQueueUrl,
                    MessageBody: JSON.stringify({ imageUrl })
                }).promise();
                return { url: imageUrl, success: false, errorMsg: error.message };
            }
        });

        // 等待所有任务完成，获取完整结果
        const allResults = await Promise.all(processPromises);
        console.log("所有图片处理完成", allResults);
    }
};

3. 关键优化点 #

• 结果可追踪：每个图片处理任务返回包含状态、URL、S3结果/错误信息的对象，Promise.all后能拿到完整处理结果。
• 错误重试机制：捕获下载或上传错误后，自动将失败URL推送到重试SQS队列，保证失败任务可后续处理。
• 代码简洁性：用async/await替代嵌套then，去掉冗余数组转换，逻辑更清晰。
• Lambda生命周期适配：将handler改为async函数，确保Lambda等待所有异步操作完成后再结束，避免提前终止导致任务中断。
• S3 Key优化建议：直接用URL作为Key可能存在特殊字符问题，建议对URL做哈希处理生成唯一安全的Key。

内容的提问来源于stack exchange，提问作者Icarus