如何不使用Glue Catalog实现Glue Job与RDS PostgreSQL的连接

前提准备 #

• 确保Glue Job执行角色拥有访问目标RDS实例的权限（含VPC网络权限、RDS数据读写权限），同时RDS安全组允许Glue Job所在VPC/IP访问5432端口。
• Glue默认内置PostgreSQL JDBC驱动，无需额外上传驱动包。

核心Spark脚本实现 #

直接使用Spark原生JDBC API即可完成数据写入，无需依赖Glue Catalog。以下是完整示例脚本：

import sys
from awsglue.context import GlueContext
from pyspark.context import SparkContext
from pyspark.sql import SparkSession

# 初始化Glue上下文
sc = SparkContext.getOrCreate()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

# --------------------------
# 1. 配置JDBC连接参数
# --------------------------
# 生产环境推荐：从AWS Secrets Manager读取凭证（避免硬编码）
# 需要给Glue角色添加SecretsManagerRead权限
# import boto3
# secrets_manager = boto3.client('secretsmanager')
# secret_response = secrets_manager.get_secret_value(SecretId='你的凭证存储ID')
# import json
# secret_dict = json.loads(secret_response['SecretString'])
# db_user = secret_dict['username']
# db_password = secret_dict['password']

# 测试用（生产禁用硬编码）
db_url = "jdbc:postgresql://<你的RDS端点>:5432/<数据库名>"
db_driver = "org.postgresql.Driver"
db_user = "<数据库用户名>"
db_password = "<数据库密码>"
target_table = "<目标表名>"

# --------------------------
# 2. 构造要写入的DataFrame（替换为你的业务数据）
# --------------------------
# 示例：创建测试数据
data = [("Alice", 30), ("Bob", 25), ("Charlie", 35)]
df = spark.createDataFrame(data, ["name", "age"])

# --------------------------
# 3. 写入RDS PostgreSQL
# --------------------------
# 写入模式：append（追加）/ overwrite（覆盖）/ ignore（忽略）/ errorifexists（存在则报错）
df.write \
  .format("jdbc") \
  .option("url", db_url) \
  .option("dbtable", target_table) \
  .option("driver", db_driver) \
  .option("user", db_user) \
  .option("password", db_password) \
  # 可选优化：设置批量写入大小，提升性能
  .option("batchsize", "1000") \
  # 开启PostgreSQL批量写入优化
  .option("rewriteBatchedStatements", "true") \
  .mode("append") \
  .save()

print("数据写入完成")

关键注意事项 #

• 生产环境绝对禁止硬编码数据库凭证，必须使用AWS Secrets Manager存储并读取，避免泄露风险。
• 根据数据量调整batchsize参数，平衡写入性能和数据库负载。
• 确认目标RDS表的字段结构与DataFrame的字段名、数据类型完全匹配，否则会出现写入失败或数据类型转换错误。
• 如果Glue Job在私有VPC内运行，需确保RDS实例与Glue Job在同一VPC，或通过VPC peering/中转网关打通网络。

内容的提问来源于stack exchange，提问作者Bee