NodeJS中如何解析Github Gist上的不完整超大JSON并实现ETL？

问题背景 #

需要从GitHub Gist直接拉取一个3万多行的对象数组格式JSON文件执行ETL（抽取、转换、加载）操作，但该JSON的最后一个对象不完整，且无法修改数据源。示例截断数据如下：

[{ "name": { "first": "foo", "last": "bar" } }, { "name": { "first": "ind", "last": "go

尝试JSON.parse()会因结构不完整直接抛出错误，使用partial-json-parser也未能有效解析出所有完整对象。

解决方案 #

使用stream-json库的StreamArray组件进行流式解析，它能够逐块处理JSON数据，提取所有完整的对象，自动忽略最后不完整的部分，同时适合处理大体积JSON文件，避免内存溢出。搭配node-fetch获取数据流，可直接完成从数据源到内存/数据库的ETL流程。

实现代码 #

import fetch from "node-fetch";
import StreamArray from "stream-json/streamers/StreamArray.js";

const main = async () => {
  // 拉取Gist原始数据流，无需加载整个文件到内存
  const jsonStream = await fetch("<raw_gist_array_of_objects_api_endpoint>")
    .then(res => res.body);

  const validObjects = [];
  // 创建流式解析管道，自动解析数组中的对象
  const pipeline = jsonStream.pipe(StreamArray.withParser());

  // 每次解析出完整对象时触发，可在此处添加转换（Transform）和加载（Load）逻辑
  pipeline.on("data", ({ value }) => {
    // 示例：存入数组，实际可替换为数据库插入操作
    validObjects.push(value);
    // 比如：await db.insert(value);
  });

  // 等待流式处理完成或出错
  await new Promise((resolve) => {
    pipeline.on("end", resolve);
    pipeline.on("error", resolve);
  });

  console.log("解析完成，有效对象数量：", validObjects.length);
};

main();

关键说明 #

• 流式处理：直接处理响应流，无需将3万多行JSON全部加载到内存，适合大文件场景。
• 自动过滤不完整对象：StreamArray会跳过最后不完整的对象，只输出能完整解析的部分。
• ETL适配：在data事件回调中，可对value执行数据转换操作，再直接写入数据库，完整实现抽取-转换-加载流程。

内容的提问来源于stack exchange，提问作者Mahtab Hossain