如何定期更新BigQuery外部表的GCS存储路径？

方法1：用ALTER TABLE直接修改外部数据源配置 #

BigQuery支持通过ALTER TABLE语句直接更新外部表的GCS路径，完全不需要删除重建表。执行时只需指定新的sourceUris，同时保留原表的其他所有配置（比如文件格式、schema、压缩方式等）。

示例SQL：

ALTER TABLE `your-project.your-dataset.target-external-table`
SET OPTIONS (
  external_data_configuration = {
    "sourceUris": ["gs://your-gcs-bucket/latest-timestamp-folder/*"],
    "sourceFormat": "PARQUET", -- 替换为你的实际文件格式（CSV/JSON/AVRO等）
    "schema": {
      "fields": [
        {"name": "user_id", "type": "STRING"},
        {"name": "event_time", "type": "TIMESTAMP"},
        {"name": "event_type", "type": "STRING"}
      ]
    },
    -- 保留原表的其他配置，比如compression、skipLeadingRows等
    "compression": "GZIP"
  }
);

注意：必须完整保留原外部表的所有配置参数，仅修改sourceUris。如果遗漏原有配置，会导致表的属性被覆盖，可能引发数据读取问题。

方法2：通配符路径+元数据刷新（适合自动追踪增量） #

如果你的时间戳文件夹是按固定格式命名（比如gs://bucket/path/2024-05-21-08-30/*），可以在创建外部表时就使用通配符匹配所有符合规则的文件夹。后续新增时间戳文件夹后，只需刷新表的元数据，BigQuery就会自动识别新增的文件。

步骤1：创建带通配符的外部表

CREATE OR REPLACE EXTERNAL TABLE `your-project.your-dataset.target-external-table`
OPTIONS (
  sourceUris = ["gs://your-gcs-bucket/path/2024-*/*"], -- 匹配2024年所有时间戳文件夹
  sourceFormat = "PARQUET",
  schema = {
    "fields": [
      {"name": "user_id", "type": "STRING"},
      {"name": "event_time", "type": "TIMESTAMP"},
      {"name": "event_type", "type": "STRING"}
    ]
  }
);

步骤2：新增文件夹后刷新元数据

当新的时间戳文件夹生成后，执行以下命令刷新表的元数据：

CALL BQ.REFRESH_EXTERNAL_TABLE(`your-project.your-dataset.target-external-table`);

这种方式无需每次手动修改具体路径，适合定期批量同步增量数据的场景。

额外注意事项 #

• 执行上述操作需要拥有目标表的bigquery.tables.update权限。
• 如果增量数据的schema发生变化，需要同步更新外部表的schema配置，否则会出现数据解析错误。

内容的提问来源于stack exchange，提问作者Sri Bharath