K6压测Minio下载API时并发请求量过低问题排查

流处理阻塞排查 #

• 先检查代码中的流管道实现：如果是手动收集MinIO流的数据再返回，或是未正确监听流的error/end事件，会导致连接无法释放、请求积压。不要用await streamToBuffer(stream)这类缓存整个文件的方式，直接用stream.pipe(res)透传流。
• 必须给@Res()添加{ passthrough: true }，禁用NestJS的自动响应包装，避免框架缓存完整文件后才返回——这会直接限制并发数。

正确实现示例：

@Get('download/:file')
download(@Param('file') fileName: string, @Res({ passthrough: true }) res: Response) {
  const stream = this.minioClient.downloadObject('your-bucket', fileName);
  stream.pipe(res);
  stream.on('error', (err) => {
    res.status(500).send(err.message);
    stream.destroy();
  });
}

MinIO客户端连接池限制 #

MinIO Node.js客户端默认连接池容量很小（约5个），超过该数值的请求会排队等待可用连接。初始化客户端时需显式调大poolSize：

const minioClient = new Minio.Client({
  // 其他基础配置...
  poolSize: 200, // 匹配压测的VUs上限
});

同时检查MinIO服务端的max_connections配置，确保服务端能承载对应并发量。

Node.js资源限制 #

• 文件描述符限制：Linux/macOS默认ulimit -n仅1024，流处理需要大量文件描述符，启动应用前执行ulimit -n 65535调整。
• 事件循环阻塞：如果流处理中包含加密、压缩等CPU密集操作，会卡死Node.js单线程，需将这类逻辑迁移到Worker线程。
• 内存限制：大文件流可能占用过多内存，启动Node时添加--max-old-space-size=4096参数（根据机器配置调整数值）。

NestJS HTTP服务器配置 #

若使用Express适配器，需开启长连接并调大请求限制：

async function bootstrap() {
  const expressApp = express();
  expressApp.set('keepAlive', true);
  expressApp.set('timeout', 0); // 避免流传输中途超时
  expressApp.use(express.json({ limit: '100mb' }));
  const app = await NestFactory.create(AppModule, new ExpressAdapter(expressApp));
  await app.listen(3000);
}

若使用Fastify适配器，检查connectionTimeout和keepAliveTimeout配置，确保不限制长连接复用。

K6压测配置验证 #

• 确认stages的duration足够长，不要让VUs在短时间内直接拉满，给系统留缓冲时间：

export const options = {
  stages: [
    { duration: '3m', target: 50 },
    { duration: '8m', target: 200 },
    { duration: '3m', target: 0 },
  ],
};

• 压测时监控K6所在机器的CPU、网络使用率，若本地机器资源不足，更换更高配置的机器运行K6。

网络层限流检查 #

• 若使用Nginx反向代理，检查worker_connections（至少设为10240）、keepalive_requests（调至1000+），避免代理层限制并发。
• 检查云服务商安全组、负载均衡器的并发连接限制，调整至符合压测需求的数值。

内容的提问来源于stack exchange，提问作者Nathan Bernardo