如何在Node.js中实现UTF-8编码？尝试方法未达预期

你遇到的核心问题是：像message这类仅包含ASCII字符的字符串，其UTF-8编码的字符表现和原字符串完全一致，所以不管用Buffer还是utf8包，看起来都没产生变化。但UTF-8编码的本质是将字符串转换为字节序列，而非修改字符串内容本身。以下是几种正确的实现方式：

1. 使用Node.js内置Buffer获取UTF-8字节序列 #

Buffer是Node.js处理二进制数据的核心工具，直接用它可以得到字符串对应的UTF-8字节缓冲区：

function stringToUtf8Bytes(str) {
  // 将字符串转换为UTF-8编码的Buffer，再转为可读的字节数组
  return Buffer.from(str, 'utf8');
}

const originalStr = 'message';
const utf8Bytes = stringToUtf8Bytes(originalStr);
console.log('UTF-8字节序列:', utf8Bytes); // 输出: <Buffer 6d 65 73 73 61 67 65>
console.log('字节值数组:', Array.from(utf8Bytes)); // 输出: [109, 101, 115, 115, 97, 103, 101]

2. 将UTF-8字节转为可传输的Base64字符串 #

如果需要把UTF-8编码结果转为可直接传输的字符串形式（比如接口交互），可以将Buffer转为Base64：

function stringToUtf8Base64(str) {
  return Buffer.from(str, 'utf8').toString('base64');
}

console.log('UTF-8转Base64:', stringToUtf8Base64('message')); // 输出: bWVzc2FnZQ==

3. 使用utf8包获取字节序列 #

utf8包的encode方法返回的是UTF-8编码后的字符串（ASCII字符无变化），若要获取底层字节数据，需要额外转换：

const utf8 = require('utf8');

function utf8EncodeToBytes(str) {
  const encodedStr = utf8.encode(str);
  // 将编码后的字符串转为字节数组
  return Array.from(encodedStr).map(char => char.charCodeAt(0));
}

console.log('utf8包输出的字节数组:', utf8EncodeToBytes('message')); // 输出: [109, 101, 115, 115, 97, 103, 101]

验证非ASCII字符的编码效果 #

如果用包含中文等非ASCII字符的字符串测试，就能看到明显的编码差异：

console.log(Buffer.from('你好', 'utf8')); // 输出: <Buffer e4 bd a0 e5 a5 bd>
console.log(utf8.encode('你好')); // 输出: 你好（底层字节为UTF-8编码，可通过charCodeAt查看）

内容的提问来源于stack exchange，提问作者Aayushi