Datastream无法从AWS RDS PostgreSQL拉取变更数据求助

以下是针对「全量回填正常，但INSERT/UPDATE/DELETE变更无法同步到BigQuery」问题的逐一排查步骤：

1. 验证Publication配置有效性 #

• 确认Publication包含所有所需的变更操作：

  SELECT pubname, pubpublish FROM pg_publication WHERE pubname = '[MY_PUBLICATION]';
  

  确保pubpublish的值为'insert,update,delete'或'all'（默认创建的Publication会包含这些操作，但需确认无修改）。
• 检查目标表是否已加入Publication：

  SELECT * FROM pg_publication_tables WHERE pubname = '[MY_PUBLICATION]';
  

  确认你需要同步的表都在结果列表中。

2. 检查逻辑复制槽状态 #

• 查看复制槽的活跃状态与LSN推进情况：

  SELECT slot_name, active, restart_lsn, confirmed_flush_lsn FROM pg_replication_slots WHERE slot_name = '[MY_SLOT_NAME]';
  

  • active需为true：如果为false，说明Datastream未成功连接到该槽，需检查Datastream配置中的槽名是否完全匹配。
  • restart_lsn需随数据变更推进：如果长期无变化，说明槽未捕获到WAL日志，需检查WAL配置或Datastream连接。

3. 确认PostgreSQL WAL级别配置 #

• 验证wal_level是否已设置为logical（逻辑复制的必要条件）：

  SHOW wal_level;
  

  • 如果结果不是logical，需修改RDS参数组的wal_level为logical，并重启RDS实例生效。

4. 检查同步表的结构要求 #

Datastream依赖唯一标识来捕获行变更，所有需要同步变更的表必须有主键或唯一非空索引：

• 检查目标表的主键/索引状态：

  SELECT 
      tablename,
      EXISTS (SELECT 1 FROM pg_index WHERE indrelid = pg_class.oid AND indisprimary) AS has_primary_key,
      EXISTS (SELECT 1 FROM pg_index WHERE indrelid = pg_class.oid AND indisunique AND NOT indispartial) AS has_unique_index
  FROM pg_class 
  JOIN pg_namespace ON pg_namespace.oid = pg_class.relnamespace
  WHERE pg_namespace.nspname = '[MY_SCHEMA]' AND pg_class.relkind = 'r';
  

  • 对无主键/唯一索引的表，添加后重新测试同步。

5. 验证Datastream任务的CDC配置 #

• 确认Datastream任务已开启**变更数据捕获（CDC）**模式，而非仅全量回填。
• 检查任务配置中：
  • 选择的PostgreSQL插件为pgoutput（与你创建的复制槽类型一致）。
  • 指定的Publication名称与你创建的[MY_PUBLICATION]完全匹配。

6. 检查WAL日志保留策略 #

如果WAL日志被过早清理，Datastream无法获取变更数据：

• 查看当前WAL保留设置：

  SHOW wal_keep_size;
  

  • 若值过小（如默认的0），需调整RDS参数组的wal_keep_size为合理值（如64MB以上，根据业务数据量调整），确保Datastream有足够时间拉取WAL日志。

7. 排查隐性日志信息 #

虽然你提到无明确错误，但可查看Datastream任务的详细日志：

• 聚焦「CDC Processing」阶段的日志，查找类似"No primary key found for table X"、"Failed to fetch WAL segments"等隐性警告，这些信息通常能定位根因。

内容的提问来源于stack exchange，提问作者Kabilan Ravi