Datastream同步AlloyDB至BigQuery报错排查求助

报错含义解析 #

error: {code: 11, message: "Unsupported primary key column either does not exist or is a pseudocolumn at [1:401]"} 这个报错的核心原因是：你同步的AlloyDB表中，主键包含了ENUM类型的列，而Datastream在同步AlloyDB到BigQuery的过程中，不支持将ENUM类型列作为主键使用。

具体来说，BigQuery没有原生的ENUM类型，Datastream会将AlloyDB的ENUM列映射为STRING类型，但主键字段需要Datastream能稳定识别并用于增量同步逻辑，ENUM类型的主键无法满足这个要求，导致系统误判该列是不存在的列或者伪列，最终触发同步失败。

排查解决步骤 #

1. 定位问题表与主键列 #

首先从日志中定位触发报错的具体表，然后在AlloyDB中确认该表的主键结构：

-- 查询目标表的主键列及类型
SELECT column_name, data_type 
FROM information_schema.columns 
WHERE table_name = '<你的问题表名>' 
  AND column_key = 'PRI';

执行后确认主键列中是否存在ENUM类型的字段。

2. 调整主键设计（核心解决步骤） #

针对ENUM类型主键的问题，有两种可行的调整方案：

• 方案一：替换主键列类型
  将ENUM类型的主键列改为INT或VARCHAR类型，比如把ENUM的枚举值对应为数字编码或字符串，同时更新业务逻辑适配新的主键类型。
• 方案二：新增非ENUM类型主键
  如果ENUM列必须保留业务意义，新增一个自增INT类型或UUID类型的列作为新主键，将原ENUM列改为普通业务列，确保Datastream能基于新主键完成增量同步。

3. 重新配置同步任务 #

• 在Datastream控制台中删除状态为Failed的同步对象。
• 添加调整后的目标表到同步任务中，重新启动全量回填。
• 监控任务状态，确认所有表都能正常同步到BigQuery。

4. 验证ENUM列的映射规则 #

确认Datastream将AlloyDB的ENUM列正确映射为BigQuery的STRING类型：

• 在Datastream的字段映射配置中，检查对应列的映射规则，若有异常可手动设置为STRING类型。

5. 排查其他失败表 #

检查其他状态为Failed的表，确认是否存在类似的主键类型不兼容问题（比如JSON、ARRAY类型作为主键），按照相同的逻辑逐一处理。

内容的提问来源于stack exchange，提问作者N.N.