如何在Node.js中按指定字节内存限制拆分对象数组？

核心逻辑 #

1. 遍历目标数组，逐个将对象序列化为字符串，用Buffer.byteLength计算其实际占用的UTF-8字节数
2. 维护当前块的对象列表和已用字节数：
   • 若加入下一个对象后总大小不超限，就把对象加入当前块
   • 若超限，就把当前块存入结果集，新建块放入当前对象
3. 单独处理单个对象超过限制的边界情况（避免出现无法拆分的无效块）

代码实现 #

function splitArrayByByteSize(data, maxSizeInBytes) {
  const chunks = [];
  let currentChunk = [];
  let currentSize = 0;

  for (const item of data) {
    // 序列化对象并计算真实字节大小
    const itemStr = JSON.stringify(item);
    const itemSize = Buffer.byteLength(itemStr, 'utf8');

    // 处理单个对象超出限制的情况
    if (itemSize > maxSizeInBytes) {
      throw new Error(`单个对象大小(${itemSize}字节)超过指定限制(${maxSizeInBytes}字节)`);
      // 若无需抛出错误，可改为直接将该对象单独作为一个块：
      // chunks.push([item]);
      // continue;
    }

    // 判断是否能加入当前块
    if (currentSize + itemSize <= maxSizeInBytes) {
      currentChunk.push(item);
      currentSize += itemSize;
    } else {
      // 保存当前块，初始化新块
      chunks.push(currentChunk);
      currentChunk = [item];
      currentSize = itemSize;
    }
  }

  // 把最后一个非空块加入结果
  if (currentChunk.length > 0) {
    chunks.push(currentChunk);
  }

  return chunks;
}

// 测试示例
const data = [
  { id: 1, name: 'Alice' },
  { id: 2, name: 'Bob' },
  { id: 3, name: 'Charlie' },
  { id: 4, name: 'David' },
  { id: 5, name: 'Eve' }
];

const maxSizeInBytes = 100;
const result = splitArrayByByteSize(data, maxSizeInBytes);
console.log('拆分结果：', result);
console.log('各块实际字节数：', result.map(chunk => 
  Buffer.byteLength(JSON.stringify(chunk), 'utf8')
));

关键细节说明 #

• 字节计算准确性：必须用Buffer.byteLength而非字符串的length属性——后者统计的是字符数，UTF-8中部分字符（如中文、特殊符号）会占用多字节，Buffer.byteLength能精准计算实际内存占用
• 性能最优：仅需一次数组遍历，时间复杂度为O(n)，是线性时间复杂度的最优方案
• 鲁棒性：提前拦截单个对象超限的情况，避免出现逻辑死循环或不符合要求的无效块

内容的提问来源于stack exchange，提问作者AnandShiva