AWS Glue脚本从RDS PostgreSQL导数据到S3时getDynamicFrame报错求助

常见原因及排查步骤 #

1. Glue数据目录配置问题 #

• 检查Glue Data Catalog中的core数据库和core_public_table表是否存在，且表的JDBC连接配置正确：
  • 确认RDS PostgreSQL实例的地址、端口、数据库名、用户名密码无误
  • 在Glue控制台的连接页面测试连接是否能正常连通
  • 检查表元数据与实际PostgreSQL表结构是否匹配，包括字段名、数据类型

2. 权限问题 #

• 确认Glue任务绑定的IAM角色拥有以下权限：
  • 访问RDS PostgreSQL的权限（若用IAM认证，需配置对应角色权限；若用密码认证，确保角色能访问存储密码的Secrets Manager）
  • 写入目标S3桶s3://path_to_s3的权限（需包含s3:PutObject等操作）
  • 访问Glue Data Catalog的权限（glue:GetTable、glue:GetDatabase等）

3. 网络连通性问题 #

• 检查Glue任务运行环境能否访问RDS实例：
  • 若RDS在VPC内，Glue任务需配置对应VPC子网和安全组，确保安全组允许Glue访问RDS的5432端口
  • 若Glue在公网环境运行，确认RDS实例的公有访问设置已开启

4. 脚本及数据类型问题 #

• 验证ApplyMapping的字段映射是否覆盖源表所有必要字段？若源表有未映射的字段，可能导致动态帧生成失败。可先移除ApplyMapping步骤，直接读取后写入S3，逐步排查问题
• 确认源表中scheduling字段类型是否为bigint（对应Spark的long类型），若为integer则需将映射中的类型改为int

5. 资源与日志问题 #

• 检查Glue任务的DPU配置是否充足，资源过小可能导致连接超时或内存不足
• 查看CloudWatch Logs中的Glue任务日志，获取更详细的报错堆栈，getDynamicFrame的报错通常包含具体子错误（如连接超时、权限拒绝、元数据不匹配等）

临时测试脚本 #

可先简化脚本，跳过映射步骤直接读写，验证基础流程是否正常：

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

args = getResolvedOptions(sys.argv, ["JOB_NAME"])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args["JOB_NAME"], args)

# 直接读取Glue Catalog中的表
JDBCConnection_node1 = glueContext.create_dynamic_frame.from_catalog(
    database="core",
    table_name="core_public_table",
    transformation_ctx="JDBCConnection_node1",
)

# 直接写入S3
S3bucket_node3 = glueContext.write_dynamic_frame.from_options(
    frame=JDBCConnection_node1,
    connection_type="s3",
    format="csv",
    connection_options={"path": "s3://path_to_s3", "partitionKeys": []},
    transformation_ctx="S3bucket_node3",
)

job.commit()

内容的提问来源于stack exchange，提问作者pouchewar