Node.js中如何发送大数据响应？发送全量数据触发JSON.stringify报错

你遇到的RangeError: Invalid string length是因为JSON.stringify()处理超大对象时，生成的字符串超出了V8引擎的最大字符串长度限制（通常在1GB左右）。发送少量数据没问题，是因为字符串长度没达标。下面是几种可行的解决办法：

1. 流式传输数据 #

Node.js的核心就是异步流式处理，直接把数据拆分成小块发送，不用一次性序列化整个对象。

示例：用原生Readable流处理JSON数组 #

如果你的数据是数组形式，可以逐个读取元素并序列化发送：

const { Readable } = require('stream');
const express = require('express');
const app = express();

app.get('/large-data', (req, res) => {
  // 模拟百万级数据数组
  const largeData = Array.from({ length: 1000000 }, (_, i) => ({ id: i, value: `item-${i}` }));
  
  res.setHeader('Content-Type', 'application/json');
  res.write('[');
  
  const stream = Readable.from(largeData);
  let firstItem = true;
  
  stream.on('data', (item) => {
    if (!firstItem) {
      res.write(',');
    }
    firstItem = false;
    res.write(JSON.stringify(item));
  });
  
  stream.on('end', () => {
    res.write(']');
    res.end();
  });
  
  stream.on('error', (err) => {
    res.status(500).end(JSON.stringify({ error: err.message }));
  });
});

app.listen(3000);

示例：用JSONStream库简化流式操作 #

第三方库JSONStream可以更便捷地处理JSON流式序列化：

npm install jsonstream

const JSONStream = require('JSONStream');
const { Readable } = require('stream');
const express = require('express');
const app = express();

app.get('/large-data', (req, res) => {
  const largeData = Array.from({ length: 1000000 }, (_, i) => ({ id: i, value: `item-${i}` }));
  
  res.setHeader('Content-Type', 'application/json');
  Readable.from(largeData)
    .pipe(JSONStream.stringify('[\n', ',\n', '\n]'))
    .pipe(res);
});

2. 分批次响应（分页） #

如果业务允许，把大数据拆分成多个分页接口，前端通过多次请求获取全量数据：

const express = require('express');
const app = express();

// 模拟全局大数据集合
const largeData = Array.from({ length: 1000000 }, (_, i) => ({ id: i, value: `item-${i}` }));

app.get('/data-page', (req, res) => {
  const page = parseInt(req.query.page) || 1;
  const pageSize = 1000;
  const start = (page - 1) * pageSize;
  const end = Math.min(start + pageSize, largeData.length);
  
  const pageData = largeData.slice(start, end);
  
  res.json({
    data: pageData,
    total: largeData.length,
    currentPage: page,
    pageSize
  });
});

app.listen(3000);

3. 启用响应压缩 #

启用Gzip或Brotli压缩，减少传输的数据量，同时降低序列化后的字符串压力：

const compression = require('compression');
const express = require('express');
const app = express();

// 启用全局压缩
app.use(compression());

app.get('/large-data', (req, res) => {
  const largeData = Array.from({ length: 1000000 }, (_, i) => ({ id: i, value: `item-${i}` }));
  res.json(largeData);
});

app.listen(3000);

注意：如果数据量过大，压缩前的序列化仍可能触发错误，建议和流式传输结合使用。

4. 使用高效的序列化库 #

用性能更优的序列化库替代原生JSON.stringify()，比如fast-json-stringify，它对内存的使用更高效：

npm install fast-json-stringify

const fastJson = require('fast-json-stringify');
const express = require('express');
const app = express();

// 预先定义数据结构 Schema
const stringify = fastJson({
  type: 'array',
  items: {
    type: 'object',
    properties: {
      id: { type: 'integer' },
      value: { type: 'string' }
    }
  }
});

app.get('/large-data', (req, res) => {
  const largeData = Array.from({ length: 1000000 }, (_, i) => ({ id: i, value: `item-${i}` }));
  res.setHeader('Content-Type', 'application/json');
  res.send(stringify(largeData));
});

app.listen(3000);

内容的提问来源于stack exchange，提问作者Ajay Jha