JavaScript：如何将字符串分割为n字节块及500字节数组？

这个问题踩中了很多人容易忽略的点：字符串的字符长度≠字节长度，尤其是包含中文、emoji或者其他非ASCII字符时，直接按字符数分割很容易把一个多字节字符劈成两半，导致乱码。下面给你两种简洁且靠谱的实现方式：

方法一：使用原生TextEncoder/Decoder（推荐） #

现代浏览器和Node.js都支持的ES6+ API，专门处理UTF-8编码的转换，能完美保证字符的完整性，代码也最简洁：

function splitStringIntoByteChunks(str, chunkSize = 500) {
  const encoder = new TextEncoder();
  const decoder = new TextDecoder();
  const byteArray = encoder.encode(str);
  const chunks = [];

  // 按字节数切割Uint8Array，再解码回字符串
  for (let i = 0; i < byteArray.length; i += chunkSize) {
    const chunkBytes = byteArray.slice(i, i + chunkSize);
    chunks.push(decoder.decode(chunkBytes));
  }

  return chunks;
}

// 用法示例
const longText = "这里是你的大型字符串内容，包含中文、emoji😀和其他字符...";
const byteChunks = splitStringIntoByteChunks(longText, 500);
console.log(byteChunks);

优点： #

• 原生API，无需手动处理字符编码细节，不会出现乱码
• 代码简洁易读，性能也不错
• 自动处理所有Unicode字符（包括代理对类型的emoji）

方法二：手动计算字符字节长度（兼容旧环境） #

如果需要支持不支持TextEncoder的旧环境，可以手动计算每个字符的UTF-8字节长度，逐步累加分割：

// 计算单个Unicode字符的UTF-8字节长度
function getUTF8ByteLength(char) {
  // 处理代理对字符（如某些emoji）
  if (char.length === 2) return 4;
  
  const charCode = char.charCodeAt(0);
  if (charCode <= 0x7F) return 1;    // ASCII字符，1字节
  if (charCode <= 0x7FF) return 2;   // 中文等，2字节
  if (charCode <= 0xFFFF) return 3;  // 某些特殊字符，3字节
  return 4;
}

function splitStringIntoByteChunksManual(str, chunkSize = 500) {
  const chunks = [];
  let currentChunk = '';
  let currentByteCount = 0;

  // 按Unicode字符遍历，避免拆分代理对
  for (const char of str) {
    const byteLength = getUTF8ByteLength(char);
    
    // 如果添加当前字符会超过字节限制，就把当前块存入数组
    if (currentByteCount + byteLength > chunkSize) {
      chunks.push(currentChunk);
      currentChunk = char;
      currentByteCount = byteLength;
    } else {
      currentChunk += char;
      currentByteCount += byteLength;
    }
  }

  // 把最后一个剩余的块加进去
  if (currentChunk) chunks.push(currentChunk);

  return chunks;
}

// 用法示例
const result = splitStringIntoByteChunksManual(longText, 500);

注意点： #

• 必须用for...of遍历字符串，它会按Unicode标量值迭代，不会把代理对拆成两个单独的字符
• 手动计算字节长度需要覆盖所有Unicode字符的情况，避免遗漏

内容的提问来源于stack exchange，提问作者bigpotato