如何在Node.js中请求URL后逐行读取JSONL数据？

不需要先将整个JSONL文件下载到临时文件，完全可以通过流直接逐行读取并处理，这种方式能大幅降低内存占用，尤其适合处理大体积数据。

实现思路 #

利用Node.js内置的https模块发起请求获取远程数据流，再结合readline模块将数据流按行拆分，每收到一行就立即解析并处理，全程无需将完整文件加载到内存或写入磁盘。

完整代码示例 #

const https = require('https');
const readline = require('readline');

// 替换为你的JSONL文件实际URL
const jsonlUrl = 'https://storage.googleapis.com/your-bucket/your-data.jsonl';

// 发起HTTPS请求
https.get(jsonlUrl, (res) => {
  res.setEncoding('utf8');
  
  // 创建readline接口处理流式数据
  const lineReader = readline.createInterface({
    input: res,
    crlfDelay: Infinity // 兼容所有换行符格式
  });

  // 监听每行数据事件
  lineReader.on('line', (rawLine) => {
    try {
      // 解析单行JSON
      const record = JSON.parse(rawLine);
      
      // 根据数据类型执行对应业务逻辑
      if (record.id.includes('Customer')) {
        console.log(`处理客户：${record.firstName}`);
        // 例如：将客户数据写入数据库
      } else if (record.id.includes('Order')) {
        console.log(`处理订单：${record.name}，关联客户ID：${record.__parentId}`);
        // 例如：将订单数据关联客户后存储
      }
    } catch (parseErr) {
      console.error(`解析行出错：${parseErr.message}，行内容：${rawLine}`);
    }
  });

  // 数据流处理完成
  lineReader.on('close', () => {
    console.log('所有JSONL数据处理完毕');
  });

  // 监听响应错误
  res.on('error', (err) => {
    console.error('数据流接收出错：', err.message);
  });
}).on('error', (reqErr) => {
  console.error('发起请求失败：', reqErr.message);
});

核心优势 #

• 低内存占用：仅在内存中保留当前处理的单行数据，不会加载GB级别的完整文件
• 高效实时：数据分块接收后立即处理，无需等待全部下载完成
• 无磁盘依赖：省去临时文件的创建、读写、清理流程，简化架构

注意事项 #

• 处理网络传输可能导致的行数据损坏，必须添加try-catch捕获JSON解析错误
• 如果需要复杂的请求配置（如身份验证、超时），可以基于https模块扩展，或使用支持流式请求的第三方库
• 确保目标URL允许Node.js环境请求（Google Storage默认支持公开访问的文件）

内容的提问来源于stack exchange，提问作者Danny Adams