Node.js读取AWS S3存储的JSON文件时Buffer转换异常问题咨询

你遇到的不是Buffer的编码差异问题，本质是你存到S3桶里的文件内容，根本不是你预期的原始JSON，而是一段被JSON序列化后的Buffer对象。

现象拆解 #

你可以对照自己的输出逐行对应：

• 直接打印data.Body得到的Buffer十六进制开头是7b，对应ASCII字符{，说明这个Buffer存的本身就是一段文本，内容恰好是{"type":"Buffer","data":[xxx]}格式的JSON
• 你调用data.Body.toString('utf8')拿到的那段带type、data字段的内容，就是这段文本的正常转换结果——这不是Buffer转码出错，是你存进去的东西本来就是这个
• 你最终绕一圈拿到的原始JSON，才是你本来应该存到S3里的内容

错误的触发原因 #

这个问题几乎都是上传S3时的操作失误导致的：

• Node.js有内置的序列化规则：只要对Buffer对象执行JSON.stringify()，Buffer就会自动转成{"type":"Buffer","data":[字节列表]}的结构
• 常见的错误写法类似下面这样：

// 错误的上传代码
const originalJson = JSON.stringify({ myProperty: 'myData' });
const originalBuffer = Buffer.from(originalJson, 'utf-8');
// 错误操作：把Buffer对象直接塞到需要JSON序列化的参数里
const uploadParams = {
  Bucket: '你的桶名',
  Key: '你的文件路径.json',
  Body: JSON.stringify({ content: originalBuffer })
};

最终存到S3的就是originalBuffer被序列化后的{"type":"Buffer","data":[...]}内容，而不是你预期的原始JSON。

为什么你的读取流程能跑通 #

你现在写的这套代码，本质就是把存反的内容反向还原：

1. S3返回的Buffer转成utf8字符串，就是你当初存进去的「Buffer序列化结果的JSON文本」
2. 解析这段JSON拿到的data字段，就是你最初要存的原始JSON的字节数组
3. 用这个字节数组新建Buffer再转成字符串，自然就能拿到正确的原始内容

误区澄清 #

• Buffer本身就是一串没有业务含义的二进制字节，不存在所谓“不同场景的编码差异”，只有把Buffer转成可读字符串时你指定的编码规则（比如utf-8）
• 没必要一直用这套绕弯的读取逻辑，根本解决方案是修正上传端的代码：上传时PutObject的Body参数直接传原始JSON字符串，SDK会自动帮你转成对应Buffer，千万别对Buffer对象做额外的JSON序列化操作。

内容的提问来源于stack exchange，提问作者JBird