如何阻止BigQuery导出Avro时添加Root记录及嵌套字段前缀

BigQuery默认导出Avro时，会自动生成名为Root的顶层记录，并给嵌套结构添加root.前缀，这会导致导出的Schema不符合预定义结构。要直接生成符合预期的Avro文件，无需后处理，可以通过以下两种方式实现：

方法一：使用自定义Schema创建外部表导出 #

1. 先将预定义的Avro Schema保存为.avsc文件（比如person_schema.avsc），内容如下：

{
  "type": "record",
  "name": "Person",
  "fields": [
    {
      "name": "name",
      "type": "string"
    },
    {
      "name": "details",
      "type": {
        "type": "record",
        "name": "Details",
        "fields": [
          {
            "name": "age",
            "type": "long"
          },
          {
            "name": "city",
            "type": "string"
          }
        ]
      }
    }
  ]
}

将该文件上传到Google Cloud Storage（GCS）的某个路径，比如gs://your-bucket/schemas/person_schema.avsc。

2. 在BigQuery中创建指向GCS导出路径的外部表，并指定自定义Schema：

CREATE OR REPLACE EXTERNAL TABLE my_project.my_dataset.avro_export
OPTIONS (
  format = 'AVRO',
  uris = ['gs://your-bucket/export/*.avro'],
  avro_schema_uri = 'gs://your-bucket/schemas/person_schema.avsc'
);

3. 将目标表的数据插入到这个外部表，数据会自动以指定的Avro Schema写入GCS：

INSERT INTO my_project.my_dataset.avro_export
SELECT name, details FROM my_project.my_dataset.sample_data;

方法二：使用bq命令行工具指定自定义Schema #

直接通过bq extract命令导出时，使用--avro-schema-file参数指定本地的Schema文件：

bq extract \
--destination_format=AVRO \
--avro_schema_file=./person_schema.avsc \
my_project.my_dataset.sample_data \
gs://your-bucket/export/*.avro

原理说明 #

BigQuery默认的Avro序列化逻辑会将表的行结构映射为Root顶层记录，并给嵌套结构添加root.前缀作为命名空间。通过显式指定自定义Avro Schema，BigQuery会严格遵循该Schema进行序列化，从而覆盖默认的命名规则。

内容的提问来源于stack exchange，提问作者Passos