Google DataStream使用CDC同步PostgreSQL时character varying字段未复制

可能的原因及修复步骤 #

1. 检查DataStream PostgreSQL连接器配置 #

• 排查字段过滤规则：确认连接器配置中没有通过include.columns或exclude.columns参数主动排除character varying类型字段，也没有仅指定同步主键字段的设置。
• 验证类型映射规则：DataStream对PostgreSQL类型的映射需要覆盖character varying（别名varchar），确保配置中没有遗漏该类型的映射规则。比如如果目标是BigQuery，需确保varchar被映射到STRING类型，避免因类型不识别被忽略。

2. 确认PostgreSQL逻辑复制配置 #

• 调整表的复制标识：执行ALTER TABLE [你的表名] REPLICA IDENTITY FULL;，因为默认的REPLICA IDENTITY DEFAULT仅捕获主键字段变更，非主键的character varying字段会被遗漏。
• 检查复制用户权限：确保用于CDC的PostgreSQL用户拥有REPLICATION权限，且对目标表有SELECT和USAGE权限，否则无法读取字段元数据和变更内容。
• 查看复制槽状态：执行SELECT slot_name, active, confirmed_flush_lsn FROM pg_replication_slots;，确认对应复制槽处于active状态，且confirmed_flush_lsn持续更新，确保槽能正常捕获所有字段变更。

3. 调整目标端表配置 #

• 关闭自动建表并手动创建表：如果DataStream自动创建目标表时无法识别character varying类型，可先在目标端手动创建包含对应字段（比如映射为STRING类型）的表，然后修改DataStream作业配置，关闭自动建表选项，重新启动同步。
• 验证目标端类型兼容性：确保目标存储（如BigQuery、Cloud Storage）支持character varying映射后的类型，比如BigQuery的STRING类型可完美兼容，避免因类型不支持导致字段被丢弃。

4. 排查DataStream作业日志 #

• 进入Google Cloud Console的DataStream作业日志页面，搜索类型相关的错误或警告（比如Unsupported data type、Field skipped），这类日志会直接指出字段未被同步的具体原因，针对性修复。

内容的提问来源于stack exchange，提问作者Akram