每日Glue Job种子失败：Snowflake到Aurora Postgres重复键约束求助

问题定位 #

• 先确认两张主表的主键/唯一约束字段，从CloudWatch日志提取冲突的键值，对比Snowflake待同步数据与Postgres目标表中对应国家的现有数据，明确是Snowflake源数据存在重复，还是每日同步重复拉取了已完成同步的记录。
• 周日任务正常运行，说明其同步逻辑（大概率是全量覆盖）规避了重复键冲突，可参考该逻辑调整每日任务。

核心解决方案 #

1. 优化同步逻辑，避免重复数据加载 #

增量同步场景（推荐）

• 在Glue Job中添加增量过滤条件：基于Snowflake表的更新时间戳或自增主键ID，仅同步当日新增/更新的数据，示例SQL：

  SELECT * FROM snowflake_table WHERE last_updated >= CURRENT_DATE - INTERVAL '1 day'
  

• 加载数据到Postgres时，用ON CONFLICT子句处理重复键：
  • 需更新现有数据时：

    INSERT INTO aurora_table (col1, col2, ...) 
    VALUES (...) 
    ON CONFLICT (primary_key_col) 
    DO UPDATE SET col1 = EXCLUDED.col1, col2 = EXCLUDED.col2;
    

  • 只需跳过重复数据时：

    INSERT INTO aurora_table (col1, col2, ...) 
    VALUES (...) 
    ON CONFLICT (primary_key_col) 
    DO NOTHING;
    

全量同步场景

• 若必须每日全量同步，可先删除目标表中对应国家的数据，再插入新数据（注意限定国家范围，避免误删其他数据）：

  DELETE FROM aurora_table WHERE country = '目标国家';
  INSERT INTO aurora_table SELECT * FROM snowflake_table WHERE country = '目标国家';
  

• 或通过临时表中转：先将Snowflake数据导入Postgres临时表，再用MERGE（Postgres 15及以上版本支持）合并到主表：

  MERGE INTO aurora_table t
  USING temp_table s
  ON t.primary_key_col = s.primary_key_col
  WHEN MATCHED THEN UPDATE SET t.col1 = s.col1, t.col2 = s.col2
  WHEN NOT MATCHED THEN INSERT (col1, col2, ...) VALUES (s.col1, s.col2, ...);
  

2. 调整Glue Job的错误处理机制 #

• 将任务改为分国家批次处理，单个国家的同步失败不会中断整个Job，保证其他国家的数据正常加载，避免分析应用全量指标归零。
• 添加针对性重试逻辑：对重复键这类可预期错误，重试前先清理冲突数据，或直接在插入语句中加入冲突处理逻辑，无需重复重试。

3. 临时恢复分析应用数据 #

• 手动触发一次周日的全量同步任务，先补全缺失的国家数据，让分析应用的指标显示恢复正常，再逐步优化每日任务。

内容的提问来源于stack exchange，提问作者Unnati Srivastava