Google Datastream PostgreSQL转BigQuery验证失败求助

• 严格匹配表名大小写：PostgreSQL会自动将未加引号的表名转为小写，但如果你的表是用双引号创建的（比如"Rides_2024"），Datastream的流配置里必须完全匹配表名和schema的大小写，包括引号（如果有）。

• 确认表级SELECT权限：仅给schema分配SELECT和USAGE权限可能不够，必须确保复制用户对每个要同步的表有明确的SELECT权限。执行以下SQL批量授权：

  GRANT SELECT ON ALL TABLES IN SCHEMA rides TO replication_user;
  -- 后续新增表自动继承权限
  ALTER DEFAULT PRIVILEGES IN SCHEMA rides GRANT SELECT ON TABLES TO replication_user;
  

• 检查PostgreSQL核心配置：

  • 确保postgresql.conf中wal_level = logical（逻辑复制的强制要求，修改后需重启数据库）
  • pg_hba.conf需允许复制用户从Datastream的IP段连接，连接类型设为replication或all

• 验证复制槽的归属与状态：复制槽必须由该复制用户创建，或者用户拥有访问该槽的权限。执行以下SQL检查：

  SELECT slot_name, active, owner FROM pg_replication_slots WHERE slot_name = 'your_replication_slot';
  

  确保active为t，且owner是你的复制用户。

• 补充系统表权限：除了information_schema和pg_catalog，复制用户还需要访问PostgreSQL的核心系统表来读取元数据，执行：

  GRANT SELECT ON pg_class, pg_attribute, pg_namespace TO replication_user;
  

• 确认表有主键/唯一约束：Datastream依赖主键或唯一约束来追踪数据变更，所有要同步的表必须至少有一个主键或唯一非空约束。如果没有，需添加后再重新验证流。

内容的提问来源于stack exchange，提问作者Brian K. Burge