PubSub到BigQuery订阅：Schema更新导致BigQuery字段值为空

问题场景 #

1. 初始PubSub Avro Schema：

{
  "namespace": "com.value.model",
  "name": "ValuePoint",
  "type" : "record",
  "fields" : [
    {
      "name" : "application_id",
      "type" : "string"
    },
    {
      "name" : "user_id",
      "type" : "string"
    }
  ]
}

2. 基于该Schema创建Topic，同步生成同结构BigQuery表，并建立PubSub到BigQuery的订阅，Avro消息可正常同步至BigQuery。
3. Schema演化新增字段new_field，创建修订版Schema：

{
  "namespace": "com.value.model",
  "name": "ValuePoint",
  "type" : "record",
  "fields" : [
    {
      "name" : "application_id",
      "type" : "string"
    },
    {
      "name" : "user_id",
      "type" : "string"
    },
    {
      "name" : "new_field",
      "type" : [null, "string"],
      "default" : "null"
    }
  ]
}

4. 更新BigQuery表结构后，客户端发送包含new_field的消息，但BigQuery中该字段始终为空。
5. 移除new_field的默认值时，收到兼容性报错：

"Revision is incompatible with previous revision: 4179a86e. Failed with error: Presence of non-optional field new_field is inconsistent.

问题解答 #

1. Schema演化操作是否存在错误？ #

存在两处关键错误：

• 默认值类型不匹配：Avro中null类型对应的默认值应为null（无引号的JSON空值），你填写的是字符串"null"。这个错误会导致解析器始终用错误的默认值覆盖消息中的实际字段值，最终BigQuery中该字段显示为空。
• 兼容性验证失效：虽然新增带默认值的可选字段属于向后兼容操作，但默认值的错误会让Schema实际不符合兼容要求，这也是移除默认值时报错的核心原因——无默认值的字段会被判定为必填，与旧Schema不兼容。

修正后的new_field字段定义：

{
  "name" : "new_field",
  "type" : ["null", "string"],
  "default" : null
}

2. 更新Schema修订版后是否需要重新创建订阅？ #

分两种场景判断：

• PubSub到BigQuery的订阅：需要重新创建。这类订阅在创建时会绑定当时的BigQuery表结构与PubSub Schema的映射关系，表结构和Schema更新后，旧订阅的映射规则不会自动同步，重新创建订阅才能让新字段的映射生效。
• 普通PubSub订阅：如果是向后兼容的Schema演化（比如新增带正确默认值的可选字段），无需重新创建订阅，只要发送消息时使用最新的Schema修订版，订阅端就能正确解析新字段。但如果订阅绑定了特定旧修订版，需要修改订阅的Schema版本配置或重新创建订阅。

内容的提问来源于stack exchange，提问作者SRJ