基于AWS CDK实现S3同Schema文件重组为<1GB单文件的方案咨询

针对你的1TB同Schema CSV重组、输出单文件严格小于1GB的需求，AWS Glue 托管PySpark ETL任务是最适配的AWS原生方案，完全支持CDK全基础设施编排，也能避开你之前考虑的两个方案的硬伤。

先明确你提的两个备选方案的问题 #

• AWS Athena：虽然CTAS语句支持配置target_file_size参数，但这个值是期望优化值，不是硬阈值，实际输出文件大小会在配置值上下浮动，没法100%保证所有文件都小于1GB；另外Athena做CSV合并时，没法自动处理多源文件的重复表头问题，很容易把各个源文件的表头行写到数据中间，额外清洗逻辑很麻烦。
• AWS Lambda：你的超时顾虑完全成立。Lambda单次执行最长15分钟、内存上限10GB、临时存储最高10GB，根本支撑不了TB级文件的顺序合并、拆分逻辑；就算做复杂的分片调度，要维护分片状态、断点续传、跨分片数据拼接，复杂度极高，完全没必要。

Glue方案的适配性说明 #

Glue是AWS托管的Spark ETL服务，完全匹配你的需求：

• 没有执行时长限制，单任务最长可运行7天，1TB规模的CSV处理用标准G.1X规格Worker，开启自动扩缩容的话通常10-20分钟就能跑完，不存在超时问题。
• 内置CSV读取能力，开启header=true配置后可以自动识别表头，自动跳过每个源文件的重复表头行，不用你单独写逻辑过滤每个文件的首行。
• 可以精准控制输出文件大小：Spark写入S3时单分区对应一个输出文件，你只要按照单文件900MB留冗余的标准计算分区数，就能保证所有输出文件都小于1GB，不会出现超尺寸文件。
• 所有资源都可以通过CDK定义部署，从S3桶、IAM权限、Glue任务到触发规则都可以用CDK代码统一交付，不需要手动点控制台配置。

具体实现逻辑 #

你不需要像伪代码里写的那样先把所有文件拼成一个大的temp.csv，Spark是分布式计算框架，不会把全量数据拉到单机内存，核心处理逻辑非常简单：

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

# 读取任务传入的参数
args = getResolvedOptions(sys.argv, ['JOB_NAME', 'SOURCE_BUCKET', 'TARGET_BUCKET'])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

# 读取源桶下所有CSV文件，自动识别表头，跳过各文件重复表头
source_df = spark.read.format("csv") \
    .option("header", "true") \
    .option("inferSchema", "false") \
    .load(f"s3://{args['SOURCE_BUCKET']}/*.csv")

# 计算分区数：按单文件900MB留10%冗余，1TB总数据大概需要1200个分区
# 实际跑的时候可以根据第一次运行的实际文件大小微调这个数值
partition_count = 1200

# 重分区后写入目标桶，写出时保留表头
source_df.repartition(partition_count) \
    .write \
    .format("csv") \
    .option("header", "true") \
    .mode("overwrite") \
    .save(f"s3://{args['TARGET_BUCKET']}/")

job.commit()

CDK部署注意点 #

• Glue任务选Glue 4.0版本，Worker类型选G.1X，初始配2个Worker，开自动扩缩容就行，服务会自动根据数据量调整计算资源，比固定配大量Worker省成本。
• 给Glue任务绑定的IAM角色只需要授予源S3桶的读权限、目标S3桶的写权限，遵循最小权限原则。
• 如果需要做结果校验，可以配一个Glue任务完成后的事件触发，关联一个轻量Lambda扫一遍目标桶的文件元数据，确认所有文件大小都低于1GB即可，这个校验逻辑几秒就能跑完，不会触发Lambda超时。
• 这个规模的任务处理成本大概在2-3美元，运维量几乎为0。

内容的提问来源于stack exchange，提问作者Dhruv Ratan Gupta