如何用JavaScript将字符串转为指定字符集字节？兼问编解码类不一致原因

1. 为何TextEncoder不支持指定字符集，与TextDecoder行为不一致？ #

• 核心定位差异：TextEncoder的设计目标是聚焦当前Web环境的主流编码UTF-8，规范制定者希望它保持轻量高效，避免为小众编码引入不必要的复杂度。
• 需求优先级不同：TextDecoder需要处理大量历史遗留的非UTF-8编码数据（比如旧系统生成的Big5、GBK文件），必须支持多字符集；而现代Web应用的编码场景几乎都以UTF-8为标准输出，对其他编码的需求极低，因此规范没有为TextEncoder添加多编码支持。
• 实现成本考量：支持多编码的编码器需要处理大量边缘逻辑（比如字符无法映射到目标编码时的 fallback 规则），会大幅增加实现和维护成本，而规范制定者认为这种投入的收益极低。

2. 不手动提供转换表，如何生成多种字符集的文本字节？ #

浏览器环境 #

利用Blob API的编码支持实现转换——Blob允许指定目标字符集，再通过FileReader读取为ArrayBuffer，即可得到对应编码的字节：

async function stringToEncodedBytes(str, encoding) {
  const blob = new Blob([str], { type: `text/plain;charset=${encoding}` });
  return new Promise((resolve) => {
    const reader = new FileReader();
    reader.onload = () => resolve(new Uint8Array(reader.result));
    reader.readAsArrayBuffer(blob);
  });
}

// 使用示例：生成Big5编码的字节数组
stringToEncodedBytes("测试字符串", "Big5").then(bytes => {
  console.log("Big5字节数组:", bytes);
});

特殊编码：ISO-8859-1 #

由于ISO-8859-1是单字节编码，且字符码点范围为0-255，可直接通过Unicode码点转换：

function stringToISO88591Bytes(str) {
  return new Uint8Array(str.split('').map(char => char.charCodeAt(0) & 0xFF));
}

Node.js环境 #

• 对于内置支持的编码（如UTF-8、UTF-16LE、ISO-8859-1），直接使用Buffer：

  // 生成ISO-8859-1字节
  const isoUint8 = new Uint8Array(Buffer.from("测试文本", "utf8").toString("latin1"), "latin1");
  
  // 生成UTF-16LE字节
  const utf16Uint8 = new Uint8Array(Buffer.from("测试文本", "utf16le"));
  

• 对于Big5这类内置不支持的编码，可借助基于系统编码库的iconv-lite模块（无需手动维护转换表）：

  const iconv = require('iconv-lite');
  const big5Uint8 = new Uint8Array(iconv.encode("测试文本", "Big5"));
  

内容的提问来源于stack exchange，提问作者Danny Lin