如何配置cURL无缓冲流式传输文件至Node.js服务器？

我正在编写一个Node.js的PUT端点，用于支持用户上传大文件。用cURL测试时发现，必须等整个文件“上传”完成后，Node.js的请求才会触发：

测试用的cURL命令 #

cat ./resource.tif \
  | curl \
    --progress-bar \
    -X PUT \
    --data-binary @- \
    -H "Content-Type: application/octet-stream" \
    https://server.com/path/to/uploaded/resource.tif \
      | cat

已知目标路径https://server.com/path/to/uploaded/resource.tif已存在，我的Node.js代码会检测到这个情况并返回409响应：

if (exists) {
  const msg = 'Conflict. Upload path already exists'
  res.writeHead(409, msg)
  res.write(msg)
  res.end()
  return
}

但实际情况是，响应要等整个文件上传完成后才会返回，不确定是cURL还是Node.js端在缓冲文件。我想知道如何配置cURL，让它以无缓冲的方式把文件流传递给Node.js？

我试过类似cat管道输出或--binary-data参数的方法，也试过用mbuffer来控制数据流：

mbuffer \
  -i ./myfile.tif \
  -r 2M \
    | curl \
      --progress-bar \
      --verbose \
      -X PUT \
      --data-binary @- \
      -H "Content-Type: application/octet-stream" \
      http://server.com/path/to/myfile.tif \
        | cat

但结果显示cURL还是会先把整个文件读入本地内存后才发送请求。

一、先排查服务器端的缓冲问题 #

Node.js原生http模块处理请求时，请求头会先被解析，但请求体是流式的。但如果用了Express这类框架，默认开启的请求体解析中间件（如express.json()）会缓冲整个请求体后才交给路由处理，这会导致冲突检查被延迟。

解决办法：

• 禁用全局请求体解析中间件，针对PUT上传路由单独处理流式请求；
• 用原生http模块在headers阶段就做冲突检查，一旦发现冲突立即返回409并终止请求流。

原生http模块示例：

const http = require('http');
const fs = require('fs').promises;

const server = http.createServer(async (req, res) => {
  if (req.method === 'PUT') {
    const uploadPath = './uploads' + req.url;
    try {
      // 收到请求头后立即检查路径是否存在
      await fs.access(uploadPath);
      res.writeHead(409, 'Conflict. Upload path already exists');
      res.end('Conflict. Upload path already exists');
      // 终止请求流，避免继续接收数据
      req.destroy();
      return;
    } catch (err) {
      // 路径不存在，继续处理流式上传
      const writeStream = fs.createWriteStream(uploadPath);
      req.pipe(writeStream);
      writeStream.on('finish', () => {
        res.writeHead(200, 'Upload completed');
        res.end();
      });
      writeStream.on('error', (err) => {
        res.writeHead(500, 'Internal Server Error');
        res.end(err.message);
        req.destroy();
      });
    }
  }
});

server.listen(3000);

二、调整cURL的参数配置 #

cURL默认会对请求体做缓冲，可通过以下参数强制流式传输：

1. 添加--no-buffer参数，禁止cURL缓冲上传数据；
2. 使用-T参数替代--data-binary：-T是cURL专门用于大文件上传的参数，流式行为更明确，不会缓冲整个文件。

优化后的cURL命令：

curl --progress-bar --verbose -X PUT -T ./resource.tif \
  -H "Content-Type: application/octet-stream" \
  https://server.com/path/to/uploaded/resource.tif

管道方式的优化版本：

cat ./resource.tif | curl --progress-bar --verbose --no-buffer -X PUT -T - \
  -H "Content-Type: application/octet-stream" \
  https://server.com/path/to/uploaded/resource.tif

三、关键注意点 #

• 服务器必须在收到请求头后立即执行冲突检查，不能等请求体开始传输后再处理；
• 返回409后必须调用req.destroy()终止请求流，否则客户端会继续发送数据；
• cURL的-T参数比--data-binary更适配大文件上传场景，流式传输逻辑更可靠。

内容的提问来源于stack exchange，提问作者Zach Smith