Node.js上传大文件至DigitalOcean Spaces时连接重置问题

可能的原因及对应解决方法 #

1. SDK客户端超时设置过短 #

@aws-sdk/client-s3的默认连接、读写超时通常为30秒，当上传大分片或网络存在延迟时，超过这个阈值就会触发连接重置，导致上传停滞。

解决方法：
初始化S3客户端时，显式延长超时参数：

const s3Client = new S3({
  endpoint: process.env.s3_endpoint,
  region: process.env.s3_region,
  credentials: {
    accessKeyId: process.env.s3_akey,
    secretAccessKey: process.env.s3_sakey,
  },
  // 配置超时（单位：毫秒）
  timeout: 120000, // 120秒整体超时
  httpOptions: {
    connectTimeout: 60000, // 60秒连接超时
    timeout: 120000, // 120秒读写超时
  },
});

2. 流处理的背压与错误静默 #

使用pipe处理流时，若源数据流的产生速度与上传速度不匹配，会引发背压；同时PassThrough流未监听错误时，异常会被静默吞噬，导致上传无响应。

解决方法：

• 用stream.pipeline替代pipe，它能自动处理背压，并在任意流出错时终止所有流、传播错误：

const { pipeline } = require('stream/promises');

// 替换原有的readableStream.pipe(pass)
await pipeline(readableStream, pass);

• 为所有流添加错误监听，避免静默失败：

readableStream.on('error', (err) => {
  console.error('源数据流错误:', err);
  pass.destroy(err);
});

pass.on('error', (err) => {
  console.error('中转流错误:', err);
});

3. DigitalOcean Spaces的并发/速率限制 #

DigitalOcean Spaces对单请求的并发数、分片上传速率可能存在隐性限制，过高的并发队列（如queueSize:4）可能触发连接重置。

解决方法：

• 降低并发队列大小，减少同时上传的分片数：

const u = new Upload({
  client: s3Client,
  params: { /* 原有参数 */ },
  queueSize: 2, // 降低并发数
  partSize: 1024 * 1024 * 5,
  leavePartsOnError: false,
});

• 开启SDK自适应重试，让失败的分片自动重试：

const s3Client = new S3({
  // ... 原有配置
  retryMode: 'adaptive',
  maxAttempts: 5, // 最大重试次数
});

4. 网络环境的连接限制 #

服务器所在的防火墙、代理可能限制了长连接或大流量传输，30秒后主动切断连接。

解决方法：

• 检查服务器防火墙规则，确保允许与DigitalOcean Spaces端点的出站连接，且不限制单连接的传输时长、流量。
• 若使用代理，确认代理支持长连接，且未设置过短的超时时间。

内容的提问来源于stack exchange，提问作者Paz