创建带自定义分区的BigQuery外部表时文件匹配失败求助

核心问题出在自定义Hive分区模式下，sourceUris的配置与hivePartitioningOptions.sourceUriPrefix不匹配，导致BigQuery无法正确识别分区路径下的文件。

具体修正步骤 #

1. 修改表定义文件的sourceUris #

当使用自定义Hive分区时，sourceUris应指向分区结构的父目录，而非带通配符的文件路径。BigQuery会基于sourceUriPrefix的模板自动遍历子目录中的分区和文件。

修正后的tabledef.json：

{
  "avroOptions": {
    "useAvroLogicalTypes": true
  },
  "hivePartitioningOptions": {
    "mode": "CUSTOM",
    "sourceUriPrefix": "gs://mybucket/market/{cc:STRING}/{version:STRING}"
  },
  "sourceFormat": "AVRO",
  "sourceUris": [
    "gs://mybucket/market/"
  ]
}

2. 更新Schema文件 #

自定义分区定义的cc和version字段需要加入表的Schema中，作为表的列存在：

[
  {
    "mode": "NULLABLE",
    "name": "id",
    "type": "STRING"
  },
  {
    "mode": "NULLABLE",
    "name": "name",
    "type": "STRING"
  },
  {
    "mode": "NULLABLE",
    "name": "cc",
    "type": "STRING"
  },
  {
    "mode": "NULLABLE",
    "name": "version",
    "type": "STRING"
  }
]

3. 调整建表命令 #

由于外部表定义已包含格式、分区等配置，无需重复指定Schema文件（除非你需要强制覆盖AVRO自带的Schema）：

bq mk --external_table_definition=tabledef.json ds.mytable

如果必须指定自定义Schema，确保文件包含分区字段后执行：

bq mk --external_table_definition=tabledef.json ds.mytable schema.json

额外检查项 #

• 验证GCS路径权限：确保BigQuery服务账号拥有gs://mybucket/market/路径的读取权限
• 确认文件存在：执行gsutil ls gs://mybucket/market/*/*/*.avro，确认能列出目标AVRO文件
• 避免通配符混用：sourceUriPrefix必须是精确的分区模板，不能包含通配符

内容的提问来源于stack exchange，提问作者hs11373