Amazon S3文件下载后后续代码提前执行问题求助

问题根源 #

你当前的写法中，pipe会同步返回可写流，await download.Body仅完成了可读流的获取，并未等待文件写入完成。后续代码会直接执行，而不是等待finish事件触发。

解决方法 #

方法1：将下载逻辑封装为Promise

手动监听可写流的finish和error事件，确保只有当文件完全写入后才执行后续代码：

async function downloadFromS3(download, filePath) {
  return new Promise((resolve, reject) => {
    if (!download.Body) {
      return reject(new Error('S3响应中无文件内容'));
    }
    const writeStream = createWriteStream(filePath);
    download.Body.pipe(writeStream);

    // 监听文件写入完成事件
    writeStream.on('finish', () => {
      console.log(`${filePath} finished downloading`);
      resolve();
    });

    // 捕获可写流错误
    writeStream.on('error', reject);
    // 捕获S3可读流错误
    download.Body.on('error', reject);
  });
}

// 使用示例
await downloadFromS3(download, filePath);
// 此处编写依赖文件存在的后续代码，会等待下载完成后执行

方法2：使用stream.pipeline（推荐）

Node.js的stream.pipeline会自动管理流的生命周期，包括错误处理和流关闭，配合promisify可以更简洁地实现异步等待：

const { pipeline } = require('stream');
const { promisify } = require('util');
// 将pipeline转为Promise版本
const pipelineAsync = promisify(pipeline);

async function downloadFromS3(download, filePath) {
  if (!download.Body) {
    throw new Error('S3响应中无文件内容');
  }
  // 等待流传输完成
  await pipelineAsync(download.Body, createWriteStream(filePath));
  console.log(`${filePath} finished downloading`);
}

// 使用示例
await downloadFromS3(download, filePath);
// 后续代码会在下载完成后执行

注意事项 #

• 务必同时监听可读流和可写流的错误，避免因下载或写入出错导致Promise一直处于pending状态。
• 之前使用await once(stream, 'finish')无效，大概率是因为监听的对象错误，需要确保监听的是可写流（即createWriteStream返回的实例）的finish事件。

内容的提问来源于stack exchange，提问作者Joseph