如何用AVRO/Parquet在BigQuery中实现无额外节点的嵌套数组结构？

针对你遇到的Parquet加载后出现额外array中间节点的问题，我来拆解原因并给出具体的解决方案：

问题根源 #

出现这个差异的核心是Parquet、Avro与BigQuery之间的类型映射规则不同：

• 你用Avro的array类型定义嵌套数组时，AvroParquetWriter会将其转换为Parquet规范中的LIST逻辑类型——这种类型的结构是两层嵌套Group：外层Group标记为LIST，内层是名为array的重复Group。
• BigQuery自动推断Parquet schema时，会直接解析这个嵌套结构，把外层Group识别为普通Record，内层的重复Group就变成了额外的array字段；而JSON加载时，BigQuery会直接将重复的JSON对象映射为Repeated Record，不会保留中间层。

解决方案 #

方案1：加载时手动指定BigQuery Schema（最便捷） #

不需要修改Parquet生成逻辑，加载时提供和JSON加载一致的Schema文件，让BigQuery跳过自动推断，直接按照你期望的结构映射：

1. 准备你的目标Schema文件simple_interval_bigquery_schema.json：

[
  {"name": "file_name", "type": "STRING", "mode": "REQUIRED"},
  {"name": "file_created", "type": "TIMESTAMP", "mode": "REQUIRED"},
  {"name": "id", "type": "STRING", "mode": "REQUIRED"},
  {"name": "interval_length", "type": "INTEGER", "mode": "REQUIRED"},
  {"name": "days", "type": "RECORD", "mode": "REPEATED", "fields": [
    {"name": "interval_date", "type": "DATE", "mode": "REQUIRED"},
    {"name": "quality", "type": "STRING", "mode": "REQUIRED"},
    {"name": "values", "type": "RECORD", "mode": "REPEATED", "fields": [
      {"name": "interval", "type": "INTEGER", "mode": "REQUIRED"},
      {"name": "value", "type": "FLOAT", "mode": "REQUIRED"}
    ]}
  ]}
]

2. 使用该Schema执行加载命令：

bq load --source_format=PARQUET --schema=simple_interval_bigquery_schema.json temp.simple_interval ~/Desktop/simple_interval.parquet

加载完成后，你得到的表结构就会和JSON加载的完全一致，不会有额外的array节点。

方案2：调整Avro Schema，生成符合BigQuery期望的Parquet结构 #

从根源上修改Avro的定义，用Repeated Record替代array类型，让AvroParquetWriter直接生成无中间层的Parquet结构：

调整后的Avro Schema如下：

{
  "name": "simple_interval",
  "type": "record",
  "fields": [
    {"name": "file_name", "type": "string"},
    {"name": "file_created", "type": {"type": "long", "logicalType": "timestamp-millis"}},
    {"name": "id", "type": "string"},
    {"name": "interval_length", "type": "int"},
    {"name": "days", 
     "type": {
       "name": "days_record",
       "type": "record",
       "fields": [
         {"name": "interval_date", "type": {"type": "int", "logicalType": "date"}},
         {"name": "quality", "type": "string"},
         {"name": "values", 
          "type": {
            "name": "values_record",
            "type": "record",
            "fields": [
              {"name": "interval", "type": "int"},
              {"name": "value", "type": "float"}
            ]
          }, 
          "mode": "repeated"}
       ]
     }, 
     "mode": "repeated"}
  ]
}

这里把原来的array类型替换为mode: repeated的Record，生成的Parquet会直接包含重复的Record字段，BigQuery自动推断时就不会生成额外的array中间层。

方案3：事后用SQL扁平化结构（补救方案） #

如果已经加载了带array层的表，可以通过SQL创建新表来移除中间层：

CREATE OR REPLACE TABLE temp.simple_interval_cleaned AS
SELECT
  file_name,
  file_created,
  id,
  interval_length,
  ARRAY(
    SELECT AS STRUCT
      interval_date,
      quality,
      values.array AS values
    FROM UNNEST(days.array)
  ) AS days
FROM temp.simple_interval;

这个方法适合已经存在不符合预期的表时快速修正，但不如前两种方法高效。

内容的提问来源于stack exchange，提问作者John Hurst