Meltano ETL：源PostgreSQL删数据后目标库未同步删除问题

核心原因分析 #

--full-refresh仅控制源端tap的全量提取行为，但目标端target的数据加载策略由自身配置决定。TransferWise的target-postgres默认可能采用append（追加）模式，即使tap全量提取数据，也只会往目标表新增行，不会清理已不存在于源库的旧数据。

具体解决方案 #

1. 配置target-postgres的全量覆盖加载模式 #

修改target的加载策略为truncate（先清空目标表再插入全量数据），这是最直接解决full refresh下同步删除的方式：

• 执行命令修改配置：

  meltano config target-postgres set load_method truncate
  

• 或者直接在meltano.yml中手动添加配置：

  plugins:
    loaders:
      - name: target-postgres
        variant: transferwise
        config:
          load_method: truncate
          # 保留其他已有配置...
  

2. 验证full refresh的执行逻辑 #

重新运行ETL命令后，查看target的日志，确认是否执行了TRUNCATE TABLE语句。如果日志显示truncate失败，可能是以下原因：

• 目标表存在外键约束：此时truncate无法执行，可临时移除外键，或改用drop_and_create_table: true配置（会删除并重建目标表，注意此操作会丢失目标表自定义的索引、约束等）：

  meltano config target-postgres set drop_and_create_table true
  

• 目标库用户无TRUNCATE或DROP TABLE权限：需要给执行ETL的数据库用户授予对应权限。

3. 确认tap-postgres的全量提取正确性 #

检查tap的日志，确认--full-refresh触发了全表同步（日志中会出现FULL TABLE SYNC字样），且提取的行数与源库当前的有效行数一致。如果tap只提取了部分数据，需检查：

• tap配置中的schemas或tables是否正确指定了要同步的表；
• 是否存在未生效的筛选条件（如where_clause）导致部分行未被提取。

4. 非full refresh场景的删除同步（可选） #

如果需要增量同步时也同步源库的删除操作，需配置：

• 开启tap-postgres的CDC（变更数据捕获）模式，捕获源库的DELETE事件；
• 在target-postgres中设置hard_delete: true并指定primary_key，让target处理DELETE事件删除目标库对应行。

内容的提问来源于stack exchange，提问作者vuonglv