使用AWS Node.js SDK v3的S3Client仅能获取有限对象问题排查

问题概述 #

尝试使用@aws-sdk/client-s3从S3桶获取1000个对象，但无论用循环并发请求、分批Promise.allSettled还是全量Promise.all，进程都会在处理部分对象后异常退出，退出码为13。初始代码中obj_list.Contents.length显示为1000，但仅收到50个响应后进程终止；分批处理时所有Promise状态均为fulfilled，但仍触发退出码13。

可能的原因及解决方法 #

1. 未处理响应流导致内存耗尽 #

AWS SDK v3中GetObjectCommand返回的data.Body是可读流（ReadableStream），如果仅获取响应但不读取或销毁该流，流会持续占用内存。批量处理大量对象时，未释放的流会快速耗尽Node.js内存，触发系统强制终止进程（退出码13通常关联内存不足）。

解决方法：
处理每个响应的流，要么读取内容，要么主动销毁流：

// 示例：处理响应流
const data = await client.send(command);
// 方式1：需要使用数据时读取流内容
await data.Body.transformToString(); // 或转换为Buffer
// 方式2：不需要数据时直接销毁流
data.Body.destroy();

2. Node.js默认内存限制不足 #

Node.js默认对内存使用有上限（64位系统约1GB，32位约512MB）。如果处理的对象体积较大（比如示例中的38MB），1000个对象的内存占用很容易超过默认限制，导致进程被终止。

解决方法：
启动Node.js时手动增加内存限制，比如：

node --max-old-space-size=4096 your-script.js

（4096表示分配4GB内存，可根据实际需求调整数值）

3. 并发数过高触发系统资源限制 #

过高的并发请求会占用大量网络连接和文件描述符，操作系统可能会因为资源耗尽强制终止进程。即使使用分批处理，单次50个并发对于大文件来说也可能超出系统允许的资源上限。

解决方法：
降低并发批次大小，比如从50调整为10或更低，同时确保每个请求的流都被正确处理：

const step = 10; // 降低并发数
let i = 0;
while (i < obj_list.Contents.length) {
    const to = Math.min(i + step, obj_list.Contents.length);
    const promises = [];
    for (let f = i; f < to; ++f) {
        promises.push((async () => {
            const command = new GetObjectCommand({
                Bucket: 'Bucket',
                Key: obj_list.Contents[f].Key
            });
            const data = await client.send(command);
            data.Body.destroy(); // 销毁流释放内存
            return data.ContentLength;
        })());
    }
    const results = await Promise.allSettled(promises);
    // 可在这里处理结果或错误
    i = to;
}

4. 隐藏的未捕获异常 #

虽然Promise.allSettled会处理每个Promise的状态，但如果SDK内部存在未被捕获的异步异常（比如网络超时后的未处理rejection），可能会导致进程崩溃。

解决方法：
在脚本顶部添加全局异常捕获，定位隐藏问题：

process.on('uncaughtException', (err) => {
    console.error('未捕获异常:', err);
    process.exit(1);
});

process.on('unhandledRejection', (reason, promise) => {
    console.error('未处理的Promise拒绝:', reason);
});

内容的提问来源于stack exchange，提问作者David Osipyan