使用带自动schema检索的LoadJobs时如何处理Avro转BigQuery的类型转换问题

问题描述 #

我们在Avro中定义了公司级通用共享模型，希望使用带自动schema检索功能的LoadJobs将该模型数据加载到BigQuery中，后续还能将数据导出（到Google Cloud Storage或其他位置）后，使用原有Avro模型完成反序列化/读取操作。

该方案目前存在的问题是：导出的Avro schema与加载时使用的schema不一致，因此使用加载时的相同schema进行反序列化会失败。

已发现的不兼容类型转换情况如下：

目前已想到的解决方案：

1. 提前创建表和schema，不使用自动检索功能
2. 在数据加载到BigQuery或从BigQuery导出时使用适配器做转换
3. 修改Avro schema，使用与BigQuery“兼容”的类型（即加载和导出过程中类型不会发生变化的类型）

额外可行解决方案 #

• 开启Avro反序列化兼容配置
  你提到的int转long、float转double属于Avro原生支持的宽化类型兼容场景，时间类型time-micros转time-millis、timestamp-micros转timestamp-millis也可通过配置反序列化参数实现自动转换（可接受精度截断的前提下）。对于map转array<record<key,value>>的场景，可自定义DatumReader的转换逻辑，在反序列化阶段自动把键值对数组转为Avro标准map类型，全程无需修改加载、导出流程，仅调整读取端逻辑即可适配。
• BigQuery导出时指定目标Schema/转换参数
  提交BigQuery导出作业时，可显式指定导出的Avro Schema为你们公司的通用共享Schema，BigQuery会自动完成字段类型的适配转换。也可通过导出参数调整时间精度：将TIME、TIMESTAMP类型的逻辑类型默认输出从micros改为millis，数值类型也可指定输出为int/float而非默认的long/double，直接导出符合原Schema的Avro文件。
• 通过Schema Registry做映射适配
  若你们团队已经部署了Schema Registry，可将原通用Schema、BigQuery导出Schema都注册到Registry中并绑定兼容映射关系，下游使用标准Avro序列化器读取导出文件时，会自动完成两个Schema的转换，业务侧无需感知差异。
• 直接通过BigQuery Storage API读取转换
  如果下游使用场景允许跳过导出到GCS的步骤，可直接调用BigQuery Storage API读取表数据，在内存中按照原Avro Schema的类型规则做字段转换，直接生成目标Avro对象，完全规避导出环节的Schema不一致问题。

原有方案补充说明 #

• 提前建表的方案适合数据模型稳定、变更频率低的场景，不会额外增加链路复杂度
• 适配器转换方案适合需要保留自动Schema检索能力的场景，可在加载/导出阶段通过ETL脚本做类型对齐
• 修改通用Schema适配BigQuery的方案成本最高，需要推动所有依赖该模型的业务方同步修改，非必要不推荐

内容的提问来源于stack exchange，提问作者leozilla