AWS SDK for Node.js：将S3 getObject返回的Buffer转为CSV/JSON

第一步：解压gzip格式的Buffer #

你的示例Buffer开头的31,139是gzip压缩文件的标志性开头，所以首先得用Node.js内置的zlib模块解压，不需要额外安装依赖：

异步方式（推荐，避免阻塞主线程） #

const zlib = require('zlib');

// 假设s3Buffer是你从AWS S3获取到的Buffer
zlib.gunzip(s3Buffer, (err, unzippedBuffer) => {
  if (err) {
    console.error('解压失败:', err);
    return;
  }
  // 现在unzippedBuffer就是原始CSV的二进制数据了
  processCSV(unzippedBuffer);
});

同步方式（适合小文件场景） #

const zlib = require('zlib');

try {
  const unzippedBuffer = zlib.gunzipSync(s3Buffer);
  processCSV(unzippedBuffer);
} catch (err) {
  console.error('解压失败:', err);
}

第二步：将解压后的Buffer转为CSV字符串 #

解压后的Buffer就是原始CSV的二进制数据，直接用toString()转成字符串即可（多数CSV用UTF-8编码，要是你的文件是其他编码比如latin1，替换成对应编码就行）：

function processCSV(buffer) {
  const csvString = buffer.toString('utf8');
  console.log('原始CSV内容:', csvString);
  // 下一步转成JSON
  convertCSVtoJSON(csvString);
}

第三步：将CSV字符串转为JSON格式 #

推荐用成熟的第三方库解析CSV，避免自己处理带引号字段、换行符等复杂边界情况，这里给两个常用方案：

方案1：使用csv-parser（轻量，基于流，适合大文件） #

先安装依赖：

npm install csv-parser

解析代码：

const csv = require('csv-parser');
const { Readable } = require('stream');

function convertCSVtoJSON(csvString) {
  const results = [];
  // 将字符串转为可读流，配合csv-parser处理
  Readable.from(csvString)
    .pipe(csv()) // 默认把第一行作为对象的属性名
    .on('data', (row) => results.push(row))
    .on('end', () => {
      console.log('转换后的JSON数组:', results);
      // results就是每行对应一个对象的数组，直接使用即可
    });
}

方案2：使用papaparse（功能更全，支持复杂CSV结构） #

先安装依赖：

npm install papaparse

解析代码（更简洁，支持直接解析字符串）：

const Papa = require('papaparse');

function convertCSVtoJSON(csvString) {
  const parseResult = Papa.parse(csvString, {
    header: true, // 把第一行作为对象的属性名
    skipEmptyLines: true // 自动跳过空行
  });
  if (parseResult.errors.length > 0) {
    console.error('CSV解析出错:', parseResult.errors);
    return;
  }
  console.log('转换后的JSON数组:', parseResult.data);
}

额外提示 #

• 如果你的CSV本来就没有压缩（只是示例刚好是gzip），可以直接跳过解压步骤，转字符串后解析即可。
• 处理超大CSV文件时，优先用csv-parser的流方式，避免内存溢出。

内容的提问来源于stack exchange，提问作者David Faizulaev