高效查询50+个BigQuery项目数据的方法

针对你要从50个项目取数、手动写UNION ALL太麻烦的问题，有几个实用方案：

1. 利用通配符表（适合项目命名有规律的场景） #

如果你的项目命名是统一前缀+编号（比如d-1到d-50），直接用BigQuery的通配符语法，配合元数据字段自动生成id，不用写任何UNION ALL：

SELECT
  -- 从项目名里提取编号作为id
  REPLACE(_TABLE_PROJECT, 'd-', '') AS id,
  -- 这里添加你需要查询的其他字段
  * EXCEPT(_TABLE_PROJECT)  -- 排除元数据字段，可选
FROM `d-*.daataa.table`

_TABLE_PROJECT是BigQuery内置的元数据字段，会自动返回当前行所属的项目名，用REPLACE处理后就能得到你原来手动写的id值。

注意：这个方法要求所有项目的daataa.table结构完全一致，且你有所有项目该表的读取权限。

2. 用脚本自动生成SQL（适合项目命名无规律的场景） #

如果项目名没有统一规律，别手动写49次UNION ALL，用脚本批量生成SQL就行，比如用Python：

# 把所有需要查询的项目名列在这里
project_list = ['d-1', 'd-2', 'd-3', ..., 'd-50']

sql_segments = []
for index, project in enumerate(project_list, start=1):
    # 生成每个项目的查询语句
    segment = f"SELECT '{index}' AS id FROM `{project}.daataa.table`"
    sql_segments.append(segment)

# 用UNION ALL拼接所有语句
final_sql = "\nUNION ALL\n".join(sql_segments)
print(final_sql)

运行这个脚本会直接输出完整的SQL，复制到BigQuery里就能用，既快又不会出错。你也可以用Shell、PowerShell等其他脚本语言实现类似逻辑。

3. 封装成视图（适合频繁查询的场景） #

如果需要经常查这些数据，可以把拼接好的SQL创建成一个视图，之后直接查询视图即可，不用每次重复写UNION ALL：

CREATE OR REPLACE VIEW `your-project.your-dataset.combined_table` AS
-- 这里放用脚本生成的完整UNION ALL语句
SELECT '1' AS id FROM `d-1.daataa.table`
UNION ALL
SELECT '2' AS id FROM `d-2.daataa.table`
...

后续查询直接用SELECT * FROM your-project.your-dataset.combined_table``就行，维护起来也方便，需要新增项目时只要更新视图即可。

额外注意事项 #

• 确保你的账号拥有所有目标项目中daataa.table的BigQuery Data Viewer权限，否则会出现访问报错。
• 通配符表和UNION ALL在BigQuery中的执行性能差异不大，都是并行处理，主要是写法简洁性的区别。

内容的提问来源于stack exchange，提问作者ML_Enthu