使用DataStream为BigQuery目标表分区时报错：BIGQUERY_UNSUPPORTED_PRIMARY_KEY_CHANGE

核心原因 #

在DataStream完成初始同步后给BigQuery目标表添加分区时，DataStream检测到表元数据变更，误判为添加主键操作——而DataStream目前不支持对已同步的现有表执行添加主键的操作，因此触发BIGQUERY_UNSUPPORTED_PRIMARY_KEY_CHANGE错误，丢弃CDC事件。

解决方案 #

方案1：提前配置分区（推荐） #

在启动DataStream同步任务前，先在BigQuery中创建带分区的目标表，确保表结构（包括主键）与源CloudSQL表完全匹配，再启动DataStream任务。这样全量同步和后续增量CDC事件都会直接写入分区表，不会触发结构变更冲突。

方案2：修复已同步的表 #

如果已经完成全量同步，按以下步骤操作：

1. 彻底停止DataStream任务，确保没有新的增量事件进入队列。
2. 在BigQuery中创建新的带分区表，结构与原同步表一致，添加所需的分区配置（注意主键需与源表保持一致）。
3. 将原同步表的全量数据迁移到新分区表，可使用BigQuery语句：

   CREATE TABLE `new_partitioned_table`
   PARTITION BY DATE(your_partition_column)
   AS SELECT * FROM `original_synced_table`;
   

4. 修改DataStream任务的目标配置，将同步目标切换为新的分区表。
5. 重新启动DataStream任务，后续增量CDC事件会正常写入分区表。

注意事项 #

• 禁止在DataStream任务运行期间修改目标表的主键或分区配置，避免触发元数据检测冲突。
• 确保BigQuery目标表的主键与源CloudSQL表完全一致，DataStream依赖主键处理增量更新、删除事件。
• 若必须修改现有同步表结构，需先停止任务，完成结构变更后重新执行全量同步。

内容的提问来源于stack exchange，提问作者Saranya