如何通过AWS Glue基于RDS数据源在Redshift中自动创建目标表

适配现有Glue流程的零代码改造方案 #

• 直接砍掉原有流程中手动编写SQL逐张建表的环节，配置Glue ETL作业对接RDS数据源和Redshift目标时，开启自动创建目标表的功能开关
• 该功能的原生逻辑是：Glue Crawler完成RDS侧元数据抓取后，ETL作业会自动完成RDS字段类型到Redshift兼容类型的映射，在指定的Redshift schema下生成和源表结构完全对齐的目标空表，全程不需要手写任何DDL语句
• 面对数十张表的批量场景，只需要将RDS侧需要同步的表全部纳入同一个Glue元数据数据库，批量指定目标表的存储位置后一次性触发作业，即可完成全量目标表的创建
• 提前在Glue的类型映射规则中配置好兼容逻辑即可规避常见问题，比如RDS的datetime类型会自动映射为Redshift的timestamp without time zone，超长字符类型会自动匹配Redshift的VARCHAR长度阈值，避免建表后出现类型不兼容导致的数据加载失败

基于元数据批量生成建表语句的轻量方案 #

• 先运行对接RDS的Glue Crawler，把所有RDS表的结构信息同步到Glue Data Catalog中
• 在Redshift侧创建关联Glue Data Catalog的外部schema后，执行格式为CREATE TABLE <本地目标schema>.<表名> AS SELECT * FROM <外部schema>.<对应RDS表名> WHERE 1=2的命令，即可自动拉取Glue Catalog中存储的RDS表结构，在Redshift本地生成结构完全一致的空表，命令不会实际加载任何源数据
• 针对数十张表的批量场景，可直接查询Glue Catalog对应的元数据视图，批量拼接生成所有需要执行的建表SQL语句，一次性复制到Redshift Query Editor中执行，不需要逐张手写字段、字段类型

端到端全自动化的长期方案 #

• 基于Glue Workflow把RDS元数据抓取、Redshift目标表自动创建、后续数据同步三个环节编排成自动触发的流程，后续哪怕RDS侧新增业务表，流程也能自动识别新表结构、自动在Redshift侧生成对应目标表、自动完成首次数据同步，完全跳过人工建表的介入环节
• 配置过程中可提前把大表需要的分布键、排序键规则写在Workflow的参数里，自动生成的目标表会直接带上配置的属性，不需要建表后逐张调整

操作注意事项 #

• 自动生成的Redshift表默认不会预设分布键和排序键，对后续查询性能有要求的话，可在自动建表的脚本里追加对应属性配置，不需要逐张修改表结构
• 自动建表完成后，可直接衔接原有配置的Glue数据同步流程，不需要调整原有Crawler的同步规则
• 提前校验RDS侧的特殊字段（比如JSON类型、空间数据类型、自定义枚举类型）的映射规则，避免自动建表时出现Redshift不支持的类型报错

内容的提问来源于stack exchange，提问作者ff9991