AWS Glue写入PostgreSQL报错：relation 'test2'已存在

核心原因 #

报错本质是Glue默认尝试创建目标表test2，但该表已在PostgreSQL数据库中存在，导致冲突。以下是针对性解决方案：

1. 调整写入模式 #

在可视化ETL作业的PostgreSQL输出节点中，修改写入模式为以下选项之一：

• Append：将新数据追加到现有表，不修改表结构
• Overwrite：清空现有表数据并写入新数据（保留表结构）
• Upsert：基于主键更新现有数据或插入新数据（需指定主键列）

若使用自动生成的Python脚本，找到glueContext.write_dynamic_frame.from_options代码块，添加write_mode参数：

glueContext.write_dynamic_frame.from_options(
    frame=transformed_dynamic_frame,
    connection_type="postgresql",
    connection_options={
        "url": "jdbc:postgresql://<your-rds-endpoint>:5432/<db-name>",
        "dbtable": "test2",
        "user": "<db-user>",
        "password": "<db-password>"
    },
    format="jdbc",
    transformation_ctx="datasink",
    write_mode="append"  # 替换为"overwrite"或"upsert"按需选择
)

2. 禁用自动创建表功能 #

若已确认PostgreSQL表结构与Glue定义完全匹配，无需Glue自动创建表：

• 可视化界面：在输出节点的高级配置中关闭"自动创建表"开关
• 代码模式：在connection_options中添加"create_table": "false"：

connection_options={
    # 其他配置项...
    "create_table": "false"
}

3. 同步Glue Data Catalog与PostgreSQL表结构 #

检查Glue Data Catalog中test2表的列名、数据类型是否与PostgreSQL实际表完全一致：

• 若存在差异，先更新Glue表定义或PostgreSQL表结构，确保两者匹配后再执行作业

4. 验证数据库用户权限 #

确认Glue作业使用的数据库用户拥有test2表的对应写入权限：

-- 追加模式需INSERT权限
GRANT INSERT ON test2 TO <glue-db-user>;
-- 覆盖模式需TRUNCATE+INSERT权限
GRANT TRUNCATE, INSERT ON test2 TO <glue-db-user>;

内容的提问来源于stack exchange，提问作者marcogreiveldinger