Dataflow作业未捕获新增Spanner变更流表，无法完成复制

• 验证变更流与新表的关联状态

  • 执行SELECT * FROM INFORMATION_SCHEMA.CHANGE_STREAM_TABLES WHERE CHANGE_STREAM_NAME = 'AllStream'，确认新表出现在查询结果中。
  • 向新表插入测试数据，再执行SELECT * FROM AllStream WHERE TABLE_NAME = '你的新表名'，检查是否能捕获到这条变更记录。如果没有捕获到，可尝试先删除再重建变更流：DROP CHANGE STREAM AllStream;，然后执行CREATE CHANGE STREAM AllStream FOR ALL;，最后重启Dataflow作业。

• 核对Dataflow作业参数

  • 确认启动作业时指定的--spanner-change-stream-name、--spanner-project-id、--spanner-instance-id、--spanner-database-id参数完全正确，无拼写或大小写错误。
  • 检查是否设置了--auto-create-tables=true：官方模板默认可能不自动创建BigQuery表，需显式开启该参数才能让Dataflow为新表生成对应的BigQuery目标表。

• 检查BigQuery权限与目标配置

  • 确认Dataflow作业使用的服务账号具备目标BigQuery数据集的bigquery.tables.create、bigquery.tables.update、bigquery.tables.updateData权限，可通过IAM页面直接验证权限配置。
  • 核对目标BigQuery数据集的名称、区域是否正确，确保数据集未被设置为只读或其他限制状态。

• 排查Dataflow作业日志

  • 进入Dataflow作业监控界面，查看Worker节点日志，搜索新表名称相关关键词，排查是否存在“权限不足”“无法创建表”“表结构不兼容”等报错信息。
  • 查看作业的「Job Messages」板块，是否有关于变更流读取失败、表同步异常的警告或错误提示。

• 确认新表的结构合规性

  • 检查新表是否定义了主键：Spanner变更流依赖主键追踪变更，无主键的表无法被变更流捕获。
  • 验证新表的数据类型是否与BigQuery兼容：例如Spanner的BYTES对应BigQuery的BYTES，JSON对应JSON，若存在PG_NUMERIC等特殊类型，需确认模板是否支持该类型转换。

• 检查作业起始位置配置

  • 若重启作业时指定了--start-time参数，需确认该时间晚于新表的创建时间，否则作业不会读取新表在该时间点之后的变更。若未指定起始时间，作业默认从当前时间开始读取，需确保新表的测试数据是在作业启动后插入的。

内容的提问来源于stack exchange，提问作者Michael Brenndoerfer