如何通过AWS Glue ETL Job将S3/Data Catalog数据迁移至Oracle RDS？

核心问题汇总 #

• 空Oracle RDS库中，Glue目标表下拉显示数据库名替换连字符为下划线的名称（dummy-user-data-1 → dummy_user_data_1），选择后任务显示成功但表未创建
• 手动创建符合Schema的dummy_user_data_1表后，ETL任务无数据插入
• 基于生成脚本创建ETL任务时，触发400错误：... failed to execute with exception Unable to resolve any valid connection....
• Glue连接器测试功能不可用，新版文档缺失参考

分步排查与解决 #

1. 目标表显示异常与创建失败问题 #

Glue在空库时显示的dummy_user_data_1并非实际表，而是数据库名的自动转换值，属于UI逻辑错误。解决：

• 不要选择这个自动生成的选项，手动输入目标表名称（比如你预期的dummy_user_data_1）
• 可视化ETL模式下，确保目标节点勾选Create table if not exists；脚本模式下，在write_dynamic_frame.from_options中设置"create_table": "true"参数
• 检查Glue角色是否拥有Oracle RDS的CREATE TABLE权限，需在RDS的IAM认证或数据库用户权限中配置

2. 手动建表后无数据插入问题 #

• 校验ApplyMapping步骤的数据类型映射：源CSV字段类型需与Oracle表字段严格匹配（如CSV字符串对应Oracle VARCHAR2，数字对应NUMBER，避免日期格式不兼容）
• 查看CloudWatch中的Glue任务日志：搜索ERROR或WARN关键词，排查数据过滤、转换失败或写入权限问题
• 检查CSV文件格式：确保无多余换行、分隔符正确、首行是列名，无特殊字符导致解析失败
• 确认目标节点的写入模式：Append模式需检查是否有重复数据过滤逻辑；Overwrite模式需确认表数据是否被覆盖但未刷新查询

3. 脚本模式下的400连接错误 #

• 核对Glue连接器的连接属性：JDBC URL格式需正确（jdbc:oracle:thin:@//<RDS端点>:1521/<数据库名>），数据库用户名、密码配置无误
• 确认VPC安全组配置：Glue的安全组需允许 outbound 访问RDS安全组的1521端口
• 检查JDBC驱动适配性：Glue默认驱动需匹配你的RDS Oracle版本，必要时上传自定义驱动到S3并在连接器中配置
• 修正自动生成脚本的错误变量：手动确认脚本中引用的是你创建的有效Glue连接资源

4. 连接器测试功能不可用的替代验证方法 #

使用Glue开发端点运行测试代码验证连接：

from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)

# 替换为你的实际连接参数
connection_options = {
    "url": "jdbc:oracle:thin:@//dummy-user-data-1.xxxxxx.us-east-1.rds.amazonaws.com:1521/dummy-user-data-1",
    "user": "your_db_user",
    "password": "your_db_password",
    "dbtable": "dummy_user_data_1"
}

# 尝试读取表数据验证连接
df = glueContext.read.format("jdbc").options(**connection_options).load()
df.show()

也可直接用RDS查询编辑器或本地SQL客户端连接数据库，验证用户名、密码、端点的可用性，排除数据库本身的连接问题

内容的提问来源于stack exchange，提问作者ddore95