Oracle到MariaDB数据迁移：Glue可行性及Glue+Lambda增量方案咨询

1. 能否直接实现Oracle→Glue→MariaDB的直连迁移？ #

可以直接实现，不需要强制通过S3暂存数据。Glue支持通过JDBC驱动直接连接Oracle作为数据源，同时通过JDBC连接MariaDB作为目标端，在Glue作业中完成**抽取-转换-加载（ETL）**的全流程直连操作。

需要注意几个前提：

• 确保Glue的VPC配置能够同时访问Oracle和MariaDB实例（如果是RDS，需配置安全组允许Glue的角色或IP访问）。
• 提前在Glue数据目录中注册Oracle和MariaDB的连接，或在作业代码中直接指定JDBC连接字符串。
• 针对2500张表的场景，建议分批次处理（比如按表名前缀、业务模块拆分），避免单作业负载过高导致超时或性能问题。

2. 跳过S3的优势与注意事项 #

跳过S3暂存确实能节省存储成本，尤其是大表较多的场景，但要留意两点：

• 内存与性能限制：Glue作业执行节点内存有限，如果单批次处理的表数据量过大，可能出现内存溢出。建议根据单表数据量调整Glue作业的DPU配置（比如选用2DPU或更高规格）。
• 故障恢复：直连迁移中途失败的话，需要重新执行整个批次的抽取加载，没有S3的中间快照可复用。可以在作业中添加简单的checkpoint逻辑（比如把已成功迁移的表名记录到MariaDB的元数据表），失败时只重跑未完成的表。

3. 增量加载管道的运作方式 #

增量加载的核心是识别Oracle中新增/更新的数据，常见实现思路：

• 基于时间戳字段：如果Oracle表有update_time或create_time这类字段，Glue作业每次只抽取上次执行后时间戳范围内的数据，写入MariaDB时用INSERT ... ON DUPLICATE KEY UPDATE语句实现增量更新（需确保MariaDB表有主键或唯一约束）。
• 基于Oracle CDC（变更数据捕获）：如果需要准实时同步，可启用Oracle的CDC功能，Glue通过JDBC读取CDC日志（或结合Glue Streaming作业），将变更数据同步到MariaDB，适合对时效性要求高的场景。
• Lambda自动化触发：
  • 定时触发：通过CloudWatch Events（EventBridge）按固定间隔调用Lambda，由Lambda启动对应Glue作业（分批次可并行启动多个作业）。
  • 事件触发：基于CDC场景下，当Oracle产生数据变更时（比如通过SNS消息通知），Lambda收到事件后启动Glue流作业处理增量数据。

4. 2500张表的批量处理建议 #

• 编写Glue作业的通用逻辑，通过遍历Glue数据目录中注册的Oracle表列表，动态生成抽取和加载代码，避免为每张表单独开发作业。
• 用Glue工作流（Glue Workflows）编排多个作业的执行顺序，比如先迁移维度表再迁移事实表，或按批次并行执行提升效率。
• 在作业中添加日志记录，将每张表的迁移状态（成功/失败、数据量、耗时）写入MariaDB的元数据表，方便后续排查问题和监控进度。

内容的提问来源于stack exchange，提问作者testmythoughts