Node.js中为何第二次调用main时Base64编解码测试失败？

测试用例里调用main('demo')正常，但main('😉😉😉')时断言失败；把编码格式换成'utf8'就可以通过测试，但现有数据库仅支持使用'binary'格式，需要排查问题根源：

测试代码：

test('base64Encode and back', () => {
  function main(input: string) {
    const base64string = base64Encode(input);
    const text = base64Decode(base64string);
    expect(input).toEqual(text);
  }

  main('demo');
  main('😉😉😉');
});

编解码函数：

export function base64Encode(text: string): string {
  const buffer = Buffer.from(text, 'binary');
  return buffer.toString('base64');
}

export function base64Decode(base64EncodedString: string): string {
  const buffer = Buffer.from(base64EncodedString, 'base64');
  return buffer.toString('binary');
}

问题核心原因 #

Node.js中的'binary'编码本质是**ISO-8859-1（Latin1）**的别名，它只能处理单字节（0-255范围）字符。而表情字符😉属于UTF-8编码的多字节字符（占4个字节），当用Buffer.from(text, 'binary')处理时，会把UTF-8字符串的每个字节单独当作Latin1字符解析——这直接破坏了多字节表情的原始结构，导致信息丢失。

举个具体例子：😉的UTF-8字节是0xF0 0x9F 0x98 0x89，用'binary'解析后会被拆成四个独立的Latin1字符（对应U+00F0、U+009F、U+0098、U+0089），编码成Base64再解码回来，得到的是这四个Latin1字符的组合，和原始表情完全不符，断言自然失败。

而用'utf8'编码时，Buffer会正确识别多字节的UTF-8字符，编解码过程完整保留原始字符信息，因此可逆。

数据库兼容说明 #

如果数据库要求的'binary'是指存储二进制数据，而非用'binary'编码处理字符串，正确的兼容逻辑应该是：

• 编码：将字符串转成UTF-8格式的Buffer（无需指定'binary'），再转Base64
• 解码：将Base64转成Buffer，再用UTF-8转成字符串

如果数据库已存储旧逻辑（binary编码）生成的Base64数据，这类表情相关数据已经损坏无法还原，只能针对新数据改用UTF-8编码逻辑，同时兼容旧数据的读取。

内容的提问来源于stack exchange，提问作者Ryan