如何在JavaScript中粗略估算对象大小以拆分JSON文件？

核心场景 #

你需要将含50张表的SQL数据库导出为多个JSON文件（单文件限制≤8MB），供他人导入使用。由于频繁调用JSON.stringify会导致性能低下，需要一种高效的启发式方法粗略估算JS对象序列化后的字节大小，避免超出文件大小限制。

现成库方案 #

直接使用成熟的估算库，无需自己造轮子，这些库通过遍历对象结构计算序列化后的近似字节数，性能远高于反复序列化：

• json-size：遍历对象，计算每个类型（字符串、数字、布尔、对象/数组结构）的字节开销，返回近似大小。

  const jsonSize = require('json-size');
  const obj = { id: 1, name: 'test', data: [1,2,3] };
  const estimatedSize = jsonSize(obj); // 返回序列化后的近似字节数
  

• estimate-json-size：原理类似，支持自定义估算系数，方便你做高估调整。

自定义启发式估算（无依赖方案） #

如果不想引入第三方库，可以自己实现一个递归估算函数，基于无循环依赖的树形结构特性，累加各部分的开销（故意做高估处理，确保不会出现实际大小超标的情况）：

function estimateJsonSize(obj) {
  let size = 0;
  const type = typeof obj;

  if (obj === null) {
    return 4 + 1; // "null" + 冗余量
  }

  switch (type) {
    case 'string':
      // 字符串长度（UTF8）+ 引号 + 冗余量
      return Buffer.byteLength(obj, 'utf8') + 2 + 1;
    case 'number':
      // 数字转字符串长度 + 冗余量
      return obj.toString().length + 1;
    case 'boolean':
      // "true"/"false"长度 + 冗余量
      return (obj ? 4 : 5) + 1;
    case 'object':
      if (Array.isArray(obj)) {
        size += 2; // 数组的[]
        for (const item of obj) {
          size += estimateJsonSize(item);
        }
        return size + 1; // 额外冗余
      } else {
        size += 2; // 对象的{}
        for (const [key, value] of Object.entries(obj)) {
          // 键的长度+引号+冒号 + 值的估算大小
          size += Buffer.byteLength(key, 'utf8') + 2 + 1 + estimateJsonSize(value);
        }
        return size + 1; // 额外冗余
      }
  }
  return size;
}

高效分批导出策略 #

结合估算逻辑，搭配以下策略可以进一步提升导出性能：

• 单条序列化累加：每次只序列化表中的一行数据，计算其Buffer.byteLength(JSON.stringify(row), 'utf8')，累加到当前文件的总大小，当接近8MB阈值时，写入文件并重置累加器。单条数据序列化的开销极小，远低于序列化整个大数组。
• 逐步拼接JSON字符串：直接构建JSON数组的字符串，比如先写入[到文件，然后逐个拼接JSON.stringify(row) + ','，同时计算拼接后的字节数。当总大小接近阈值时，写入当前内容并追加]，然后新建文件开始下一个数组。这种方法不需要在内存中维护大数组，内存占用更低，且能实时监控字节数。

注意事项 #

• 给估算值加10%-20%的余量，避免因为字符串转义字符、标点符号等细节导致实际大小超出限制。
• 导出后可以随机抽查几个文件的实际大小，调整估算函数的冗余系数，确保符合8MB的限制。

内容的提问来源于stack exchange，提问作者Lance Pollard