如何在AWS Step Functions中上传Lambda生成的CSV到S3并修复格式问题

问题原因 #

Lambda生成的CSV包含换行符等特殊字符，Step Functions在JSON序列化传递过程中会对这些字符进行转义，并且将整个字符串用引号包裹，导致S3存储的内容不是原始的CSV格式；直接返回Buffer的话，Lambda会将其序列化为Buffer对象的JSON结构，Step Functions传递的是该结构的字符串，而非原始二进制数据。

解决方案：使用Base64编码传递 #

1. 修改Lambda代码，将CSV转换为Base64字符串返回 #

import { logger } from "./Logger";
import { json2csv } from "json-2-csv";

export const generateFileHandler = async (event: any) => {
  const fileDetails = event.detail.Message[0];
  const csv = await json2csv([fileDetails]);
  // 将CSV字符串转换为Base64编码
  const csvBase64 = Buffer.from(csv).toString('base64');
  return { csvBase64 };
};

export const handler = middify(generateFileHandler);

2. 更新Step Functions的S3 putObject任务配置 #

通过Body.Data指定Base64编码的内容，并设置Encoding为base64，同时指定ContentType确保文件被正确识别为CSV：

"Put Comms File": {
  "Type": "Task",
  "Parameters": {
    "Body": {
      "Data.$": "$.csvBase64",
      "Encoding": "base64"
    },
    "Bucket": "${bucket_name}",
    "Key": "file.csv",
    "ContentType": "text/csv"
  },
  "Resource": "arn:aws:states:::aws-sdk:s3:putObject"
}

原理说明 #

Base64编码会将包含特殊字符的CSV转换为纯ASCII字符串，避免Step Functions在JSON序列化时对内容进行转义；S3收到Base64编码的内容后，会自动解码为原始的CSV二进制数据，保留换行符和原始格式，同时ContentType设置确保文件被正确解析为CSV类型。

内容的提问来源于stack exchange，提问作者Sheen