AWS Glue作业从S3同步数据到RDS Postgres的性能优化咨询

1. 多线程方案可行性及替代实现 #

多线程方案需根据你的作业类型判断可行性：

• 如果你用的是Python Shell模式的Glue作业，IO密集场景（批量拉取S3分片、批量写入RDS）下多线程是可行的，CPU密集的数据转换场景受Python GIL锁限制提升有限。可通过concurrent.futures.ThreadPoolExecutor实现，注意控制并发数不超过RDS最大连接数的60%，避免打满数据库连接。
• 如果你用的是Spark类型的Glue作业，不要自己实现多线程，会和Spark原生的任务调度机制冲突，反而导致性能下降。

替代实现方案：

• 把Python Shell模式作业升级为Glue 4.0+版本的Spark作业，配置spark.sql.files.maxPartitionBytes参数为128MB~1GB，自动拆分大文件为多个分片交给不同Executor并行处理，并行效率比单进程Python高至少一个数量级
• 调整写入逻辑为批量提交，单次写入批量大小设置为1000~10000行，避免单条INSERT的高频IO开销

2. 相对冷门的AWS原生功能适用方案 #

• Glue Auto Scaling：多数用户创建作业时不会开启该功能，开启后Glue会根据待处理任务量动态增减Executor数量，无需手动调整Worker数，处理超大数据集时可减少70%以上的等待时间，仅按实际使用的计算时长收费
• RDS pg_bulkload扩展：给RDS实例开启pg_bulkload扩展，授权RDS IAM角色S3读取权限后，可直接从S3拉取分片数据批量导入，写入速度比普通INSERT快5~10倍
• Glue Flex执行模式：比标准执行模式成本低最多50%，相同预算下可开通更多Worker并行处理，适合非紧急的批量同步作业
• S3 Select预过滤：如果只需导入S3文件的部分列/部分行，用S3 Select在S3端直接过滤掉无用数据，最多可减少90%的数据传输开销

3. 非常规思路优化建议 #

• 提前拆分大文件：用S3 Batch Operations把单个几十GB的大文件拆分为多个128MB的小分片，Glue处理小文件的并行效率远高于单个超大文件
• 绕过Glue走RDS原生导入：如果数据是CSV/Parquet等Postgres兼容格式，直接给RDS授予S3访问权限，用COPY命令直接从S3导入数据，全程无需经过Glue计算节点，导入速度比Glue中转快3倍以上
• 临时关闭索引触发器：全量同步前先禁用目标表的索引、触发器，同步完成后再重建，写入速度可提升2~4倍
• 走VPC内网传输：把Glue作业和RDS实例部署在同一个VPC的私有子网内，避开公网带宽限制，数据传输速度比公网快2~10倍，同时安全性更高

内容的提问来源于stack exchange，提问作者AstroNomad