AWS Glue可视化ETL：目录表节点读RDS失败，MySQL节点正常的原因排查

一、Glue Catalog Table节点无法读取RDS数据的可能原因 #

• Catalog表元数据过期/不一致：之前爬虫生成的Catalog表，对应的RDS表结构（字段、类型、分区）可能已变更，但Catalog里的元数据未同步更新。MySQL节点是直接读取JDBC源，不受旧元数据影响。
• 权限配置差异：虽然用的是同一连接，但Glue Catalog Table节点依赖的IAM角色，可能缺少glue:GetTable、glue:GetDatabase这类Catalog操作权限；或是后续调整过RDS访问权限，导致Catalog节点无法通过连接校验。
• Catalog表配置错误：如果Catalog表被误设为S3存储类型，或是表的connectionName未关联到正确的RDS连接，节点就无法定位到实际的RDS数据源。
• 分区/过滤条件冲突：Catalog表若设置了分区，但RDS中没有对应分区结构，或是节点配置了不存在的过滤条件，会导致读取不到数据；而MySQL节点直接查询原表，不受这些限制。
• Glue版本兼容性问题：部分旧版本Glue的可视化ETL对RDS Catalog表的支持存在bug，而MySQL节点的JDBC驱动是独立加载的，不受该问题影响。

二、RDS数据上传至S3的实现方案 #

方式1：MySQL节点 + S3节点直接实现 #

1. 配置MySQL节点：填入RDS的JDBC URL、用户名密码，指定要读取的表或自定义SQL查询语句。
2. 可选数据转换：插入ApplyMapping、Filter等Transform节点，完成数据清洗、格式转换等操作。
3. 配置S3输出节点：选择输出格式（Parquet、CSV等），指定S3存储路径，按需配置分区规则，确保Glue任务使用的IAM角色拥有S3写入权限。

方式2：修复Catalog Table节点后实现 #

先解决Catalog节点的读取问题，再复用Catalog表完成数据导出：

1. 刷新Catalog元数据：重新运行Glue爬虫爬取目标RDS表，更新Catalog中的元数据。
2. 验证权限：检查Glue任务的IAM角色，确保同时拥有glue:*（Catalog操作）和rds-db:connect（RDS访问）权限。
3. 修正Catalog表配置：确认表的Connection属性关联到正确的RDS连接，存储类型为JDBC。
4. 重新配置Catalog Table节点：选择更新后的Catalog表，测试读取数据，后续接入S3节点完成导出。

内容的提问来源于stack exchange，提问作者Atiq Ur Rehman