无法让Node.js正确将数据管道传输至下载文件的技术问题

嘿，作为Node.js流处理的新手，能想到用流式传输大文件已经很棒啦！你提到的用文件流管道到响应的思路完全正确，先把你没写完的代码补全，再聊聊常见的扩展场景和新手容易踩的坑～

你给出的代码框架没问题，这里补充完整并加上关键的异常处理逻辑：

const fs = require('fs');
const path = require('path');

// 以Express路由为例
app.get('/download-large-file', (req, res) => {
  const filePath = path.resolve('./test.txt');
  
  // 注意响应头的细节：Content-Type要匹配文件类型，filename后缀尽量准确
  res.setHeader('Content-Type', 'text/plain'); // 若是csv文件就改成text/csv
  // 中文文件名需要编码避免乱码，用encodeURIComponent处理
  res.setHeader('Content-Disposition', `attachment; filename=${encodeURIComponent('我的大文件.txt')}`);
  
  const readStream = fs.createReadStream(filePath);
  
  // 管道自动处理背压，不用手动管理数据传输节奏
  readStream.pipe(res);

  // 关键：处理文件读取错误，避免服务器崩溃
  readStream.on('error', (err) => {
    console.error('读取文件失败:', err);
    res.status(500).send('文件下载出错，请稍后重试');
  });

  // 用户中途取消下载时，及时销毁流，节省服务器资源
  res.on('close', () => {
    readStream.destroy();
  });
});

很多时候我们不是传输本地文件，而是动态生成数据（比如从数据库批量导出），这时候可以自定义可读流来实现：

const { Readable } = require('stream');

app.get('/download-dynamic-data', (req, res) => {
  res.setHeader('Content-Type', 'text/csv');
  res.setHeader('Content-Disposition', 'attachment; filename=动态导出数据.csv');
  
  // 模拟分页获取数据的参数
  let currentPage = 1;
  const totalPages = 100;

  // 创建自定义可读流，按需生成数据
  const dynamicStream = new Readable({
    async read() {
      // 所有数据生成完毕，结束流
      if (currentPage > totalPages) {
        this.push(null);
        return;
      }

      // 模拟异步获取分页数据（实际场景替换为数据库查询等逻辑）
      const pageData = await getPageData(currentPage);
      // 转成CSV格式的行
      const csvContent = pageData.map(item => `${item.id},${item.name},${item.email}\n`).join('');
      
      // 将生成的数据推入流
      this.push(csvContent);
      currentPage++;
    }
  });

  dynamicStream.pipe(res);

  // 处理动态流的错误
  dynamicStream.on('error', (err) => {
    console.error('动态数据生成失败:', err);
    res.status(500).send('数据导出出错');
  });

  // 用户取消下载时销毁流
  res.on('close', () => {
    dynamicStream.destroy();
  });
});

// 模拟异步获取分页数据的函数
async function getPageData(page) {
  return new Promise(resolve => {
    setTimeout(() => {
      resolve([
        { id: page*100+1, name: `用户${page*100+1}`, email: `user${page*100+1}@example.com` },
        { id: page*100+2, name: `用户${page*100+2}`, email: `user${page*100+2}@example.com` }
      ]);
    }, 100);
  });
}

• 忽略背压问题：尽量用pipe()方法传输数据，它会自动处理背压（即客户端接收速度慢于服务器生成速度的情况），手动监听data事件写响应很容易导致内存暴涨。
• 忘记错误处理：流读取/生成过程中可能出现各种错误（文件不存在、数据库连接失败等），一定要监听error事件，否则会导致服务器崩溃。
• 客户端断开未清理：用户中途取消下载时，服务器如果继续生成数据会浪费资源，所以要监听响应的close事件销毁流。
• 响应头设置错误：Content-Type不匹配会导致浏览器无法识别文件类型；中文文件名要通过encodeURIComponent编码，否则会出现乱码。

内容的提问来源于stack exchange，提问作者DAC