Node.js中如何检测Buffer与UTF-8字符串往返转换的一致性

你遇到的现象本质是不是所有字节序列都是合法的UTF-8编码：当Buffer中存在不合法的UTF-8字节时，buff.toString('utf8')会自动将非法字节替换为Unicode替换字符�（U+FFFD），这一步已经丢失了原始字节信息，再调用Buffer.from(str, 'utf8')转回来的Buffer自然和原Buffer不一致。

检测方法 #

有两种成熟的检测方案可选：

方案1：直接模拟转换流程（全版本Node.js兼容，准确率100%） #

最稳妥无歧义的方法就是直接模拟一次完整的转换流程，直接对比转换前后的Buffer是否相等，实现非常简单：

function isUtf8Roundtrippable(buff) {
  // 完全模拟转字符串再转回Buffer的实际流程
  const converted = Buffer.from(buff.toString('utf8'), 'utf8');
  return buff.equals(converted);
}

// 调用示例
let buff = Buffer.allocUnsafe(20);
console.log(isUtf8Roundtrippable(buff)); // 返回true则转换后和原Buffer完全相等

该方案不需要依赖高版本API，逻辑和实际转换流程完全一致，不会出现判断偏差。

方案2：内置UTF-8合法性检测（性能更优，高版本Node.js可用） #

Node.js v18.15.0、v19.9.0及以上版本提供了内置的util.isUtf8()方法，可以直接检测Buffer是否为合法的UTF-8字节序列：

const util = require('node:util');

function isUtf8Roundtrippable(buff) {
  return util.isUtf8(buff);
}

只要Buffer是合法的UTF-8序列，转字符串再转Buffer的过程就不会有任何信息损失，转换后的Buffer一定和原Buffer完全相等。

内容的提问来源于stack exchange，提问作者Gershom Maes