Google BigQuery如何处理流管道中含缺失字段的表更新？

首先明确核心逻辑：Pub/Sub到BigQuery的默认流式管道是追加新记录，而非更新已有行——不存在“保留表中原有值”的情况，每条Pub/Sub消息都会生成一条全新的BigQuery行。

具体处理规则分以下场景：

• 缺失可选字段（NULLABLE）：
  如果消息JSON缺少表架构中定义的可选字段（包括嵌套分支），BigQuery会自动将对应列填充为NULL，写入不会失败。比如表有email可选字段，消息没传该字段，新行的email值就是NULL；如果表有嵌套字段address.city，消息只传了address但没传city，address.city也会被设为NULL。

• 缺失必填字段（REQUIRED）：
  如果消息缺失的是表架构中标记为REQUIRED且未设置默认值的字段，这条消息会写入失败。你可以通过配置Pub/Sub订阅的死信队列（DLQ）捕获这类失败消息，避免数据丢失。

• 关于“更新已有行”的补充：
  若你的实际需求是更新BigQuery中已存在的行（而非追加新行），直接用Pub/Sub到BigQuery的流式管道无法实现。需要通过Dataflow、Cloud Functions等中间服务接收Pub/Sub消息，再用BigQuery的DML UPDATE语句处理，此时缺失字段的行为完全由你的业务逻辑控制——可选择保留原有值，也可设为NULL。

内容的提问来源于stack exchange，提问作者Wayne Junior