Google Pub/Sub转BigQuery：Avro可空日期字段格式适配问题

这是Avro可空联合类型的固有特性，你的Schema定义完全符合规范，没有错误。

为什么会出现这种嵌套格式？ #

Avro的联合类型（比如你定义的["null", "string"]）在序列化时，必须通过带类型标识的嵌套结构来传递非空值——这是因为联合类型需要明确告诉解析器，当前值对应的是联合列表中的哪一种类型。哪怕是最常见的「null+单一类型」的nullable场景，这个包装规则依然是Avro规范的强制要求，并非你的定义问题。

怎么适配BigQuery订阅的需求？ #

如果你希望BigQuery能直接接收原始字符串格式的日期值，可以用以下两种方案：

1. 调整Avro Schema定义，利用字段缺失替代显式null
   把purchaseDate的类型直接定义为"string"，同时不设置默认值（或默认值设为null）。Avro规范中，字段缺失会被视为null，这样：

   • 非空场景：直接传入字符串值（比如"2024-05-20"），BigQuery订阅可以直接解析为可空字符串字段；
   • 空值场景：消息中不包含purchaseDate字段即可。

2. 保持现有Schema，在BigQuery侧做解析转换
   如果不想修改消息序列化逻辑，可以把BigQuery表中的purchaseDate字段定义为JSON类型，之后通过SQL函数提取实际值：

   SELECT JSON_EXTRACT_SCALAR(purchaseDate, '$.string') AS purchaseDate
   FROM your_table
   

   也可以在BigQuery的表定义中使用逻辑类型或者创建视图来自动完成解析，避免每次查询都写函数。

内容的提问来源于stack exchange，提问作者kitkatsim