Dataflow SQL流任务关联BigQuery动态表新增数据不生效如何解决

默认情况下Dataflow SQL流作业读取BigQuery表作为关联侧输入时，仅会在作业启动时拉取一次全表快照缓存，后续不会主动同步表的变更数据，因此新增的sales_region记录只能在重启作业重新拉取快照后生效。

直接修改你的SQL查询，为BigQuery关联表添加max_staleness刷新配置即可实现维度表自动刷新，无需重启作业。修改后的查询示例如下：

SELECT tr.*, sr.sales_region
FROM pubsub.topic.`project-id`.transactions as tr
  INNER JOIN bigquery.table.`project-id`.dataflow_sql_dataset.us_state_salesregions 
  OPTIONS (max_staleness = INTERVAL 15 MINUTE) AS sr
  ON tr.state = sr.state_code

上述配置中max_staleness指定了维度表的最大允许陈旧时间，Dataflow会按照你设置的间隔自动拉取BigQuery表的最新全量快照更新本地缓存，间隔可以根据你的业务对维度数据的实时性要求调整。

• 刷新间隔不建议设置短于5分钟，避免频繁读取BigQuery产生额外的读取成本和性能压力
• 若你的业务要求维度数据变更秒级生效，可以将us_state_salesregions表的CDC变更日志同步到Pub/Sub主题，改写成两个流的时态关联逻辑，即可实现维度数据实时更新
• 内连接模式下，刷新间隔内到达的交易流数据如果匹配到刷新后才新增的维度记录，会因为关联不到被丢弃，若需要补全这部分数据可以调整为左连接配合后续修正逻辑，或缩小刷新间隔到业务可接受的延迟范围

内容的提问来源于stack exchange，提问作者Marko