如何在BigQuery中查询项目下所有区域的全部数据集？

直接查myproject.INFORMATION_SCHEMATA只能拿到US区域的数据集，是因为INFORMATION_SCHEMATA是区域级元数据视图，只能返回当前连接区域的内容。要获取所有区域的数据集，有两种可行方案：

方案1：手动用UNION ALL合并多区域查询 #

明确列出需要覆盖的区域，分别查询每个区域的INFORMATION_SCHEMA.SCHEMATA，再用UNION ALL合并结果。示例SQL：

SELECT 
  schema_name AS dataset_name,
  catalog_name AS project_id,
  'region-us' AS region
FROM `myproject.region-us.INFORMATION_SCHEMA.SCHEMATA`

UNION ALL

SELECT 
  schema_name,
  catalog_name,
  'eu' AS region
FROM `myproject.eu.INFORMATION_SCHEMATA.SCHEMATA`

UNION ALL

SELECT 
  schema_name,
  catalog_name,
  'asia-southeast1' AS region
FROM `myproject.asia-southeast1.INFORMATION_SCHEMATA.SCHEMATA`

-- 按需继续添加其他区域，比如asia-northeast1、europe-west1等

方案2：用CLI/API自动遍历所有区域 #

如果不想手动写所有区域的UNION，可以用BigQuery CLI配合脚本自动遍历所有可用区域，逐个查询并合并结果。示例shell脚本：

# 获取BigQuery所有可用区域
REGIONS=$(bq ls --location=US --format=json | jq -r '.[].location')

# 初始化结果文件
echo "dataset_name,region" > all_datasets.csv

# 循环每个区域查询数据集
for REGION in $REGIONS; do
  bq query --location=$REGION --format=csv \
    "SELECT schema_name, '$REGION' AS region FROM \`myproject.$REGION.INFORMATION_SCHEMATA.SCHEMATA\`" \
    | tail -n +2 >> all_datasets.csv
done

注意事项 #

• 确保你的账号拥有项目下所有目标区域的bigquery.metadataViewer角色，否则会因权限不足无法读取对应区域的元数据。
• 若某些区域没有数据集，对应的查询会返回空结果，不会影响最终合并后的数据集列表。

内容的提问来源于stack exchange，提问作者develop