如何优化Minio文件下载性能？基于NestJS与K6压测场景

一、代码逻辑层面优化 #

1. 修复异步流的响应处理缺陷 #

当前downloadObject方法中，流的pipe操作是异步的，但函数未等待该过程完成就直接结束，且回调中的return无法传递到外层函数，导致NestJS无法正确返回响应，并发请求时会堆积大量未完成的IO操作。需将流处理包装为Promise，确保响应正确返回：

async downloadObject(s3Path: string): Promise<HttpStatus> {
  const s3Client = await this.getS3Client();
  const command = new GetObjectCommand({
    Bucket: 'test',
    Key: s3Path,
  });

  try {
    const response = await s3Client.send(command);
    const inputStream = response.Body;
    const downloadPath = `./test_objects/${basename(s3Path)}`;
    const outputStream = fs.createWriteStream(downloadPath);

    if (!(inputStream instanceof Readable)) {
      console.error('Invalid input stream');
      return HttpStatus.INTERNAL_SERVER_ERROR;
    }

    return new Promise((resolve, reject) => {
      inputStream.pipe(outputStream);
      outputStream.on('finish', () => {
        console.log('File downloaded successfully');
        resolve(HttpStatus.CREATED);
      });
      outputStream.on('error', (err) => {
        console.error('Error downloading file:', err);
        reject(HttpStatus.INTERNAL_SERVER_ERROR);
      });
      // 监听输入流错误，避免未捕获异常
      inputStream.on('error', (err) => {
        console.error('Input stream error:', err);
        outputStream.destroy(err);
        reject(HttpStatus.INTERNAL_SERVER_ERROR);
      });
    });
  } catch (err) {
    console.error(err);
    return HttpStatus.INTERNAL_SERVER_ERROR;
  }
}

2. 移除本地磁盘IO瓶颈 #

每个请求都写入本地文件是并发场景下的致命瓶颈（尤其是机械硬盘）。如果API的目的是让客户端下载文件，直接将S3的流转发给客户端，跳过本地磁盘落地：

// 在Controller中实现直接转发流
@Get('download/:s3Path')
async downloadFile(@Param('s3Path') s3Path: string, @Res() res: Response) {
  const s3Client = await this.s3Service.getS3Client();
  const command = new GetObjectCommand({
    Bucket: 'test',
    Key: s3Path,
  });

  try {
    const response = await s3Client.send(command);
    res.setHeader('Content-Disposition', `attachment; filename="${basename(s3Path)}"`);
    res.setHeader('Content-Length', response.ContentLength);
    // 直接将S3流pipe到响应流
    (response.Body as Readable).pipe(res);
  } catch (err) {
    res.status(HttpStatus.INTERNAL_SERVER_ERROR).send('Download failed');
  }
}

3. 优化S3客户端并发配置 #

默认S3客户端的并发连接数有限，调整配置提升并发处理能力：

const s3 = new S3({
  apiVersion: '2006-03-01',
  forcePathStyle: true,
  tls: false,
  region: 'us-west-1',
  endpoint: this.configService.get('s3.endpoint'),
  credentials: {
    accessKeyId: this.configService.get('s3.accessKey'),
    secretAccessKey: this.configService.get('s3.secretKey'),
  },
  maxRetries: 2, // 减少无效重试，避免阻塞
  httpOptions: {
    agent: new http.Agent({
      maxSockets: 100, // 提高并发连接数，根据服务器配置调整
      keepAlive: true, // 开启连接复用，减少TCP握手开销
    }),
  },
});

4. 引入预签名URL绕过服务端（可选） #

如果文件是静态且不频繁更新的，返回Minio预签名URL让客户端直接下载，彻底释放服务端压力：

async getPresignedUrl(s3Path: string): Promise<string> {
  const s3Client = await this.getS3Client();
  const command = new GetObjectCommand({
    Bucket: 'test',
    Key: s3Path,
  });
  return s3Client.getSignedUrl(command, { expiresIn: 3600 }); // 1小时有效期
}

二、硬件/网络层面优化建议 #

• 带宽检测：测试服务端与Minio节点间的带宽，70MB文件*50并发理论需约28Gbps带宽，若实际带宽不足（如1Gbps）会直接导致拥堵，可使用iperf工具验证。
• 磁盘优化：若必须落地文件，更换为SSD硬盘或配置RAID0提升写入性能；调整Linux系统的vm.dirty_ratio等参数优化文件系统缓存。
• 服务器扩容：监控CPU、内存使用率，若CPU跑满则增加核心数，内存不足则扩容内存，避免swap频繁触发。
• Minio集群优化：将单节点Minio改为集群模式，提升并发处理能力；查看Minio日志是否存在请求排队情况。
• CDN加速：面向公网用户时，将Minio文件同步至CDN，客户端直接从CDN下载，减少服务端与Minio的负载。

内容的提问来源于stack exchange，提问作者Nathan Bernardo