如何备份BigQuery中所有视图的定义？避免误删有用视图

嘿，这个需求我太熟了——处理大量闲置视图前先备份定义绝对是明智之举，避免误删有用的之后追悔莫及。下面给你几个实用的方法，按需选就行：

这是最直观的方式，BigQuery的元数据系统已经帮你存好了所有视图的定义，直接查就行：

1. 打开BigQuery控制台，新建一个查询窗口，执行下面的SQL（替换成你的项目ID）：

SELECT
  table_catalog AS project_id,
  table_schema AS dataset_id,
  table_name AS view_name,
  view_definition
FROM
  `your-project-id`.*.INFORMATION_SCHEMA.VIEWS

• 用*可以遍历项目下所有数据集的视图，如果只想查特定数据集，把*换成数据集ID即可。

2. 查询结果出来后，点击右上角的「导出」按钮，选择你想要的格式（CSV、JSON、Parquet都可以），保存到本地或者Google Cloud Storage里。

如果你习惯用命令行处理，这个方法效率更高，适合批量操作：

导出所有视图到单个文件 #

执行下面的命令（替换项目ID）：

bq query --format=csv "SELECT table_schema, table_name, view_definition FROM \`your-project-id\`.*.INFORMATION_SCHEMA.VIEWS" > bq_views_backup.csv

• 可以把--format=csv换成json或jsonl，适配不同的后续处理需求；>后面是本地文件路径，按需修改。

按数据集分文件备份 #

如果想把每个数据集的视图分开存，可以写个简单的shell脚本（需要提前安装jq工具解析JSON）：

#!/bin/bash
PROJECT_ID="your-project-id"
# 获取项目下所有数据集
DATASETS=$(bq ls --format=json "$PROJECT_ID" | jq -r '.[].datasetReference.datasetId')

# 循环导出每个数据集的视图
for DATASET in $DATASETS; do
  bq query --format=csv "SELECT table_name, view_definition FROM \`$PROJECT_ID\`.$DATASET.INFORMATION_SCHEMA.VIEWS" > "${DATASET}_views_backup.csv"
done

运行脚本后，每个数据集的视图会单独保存为[数据集名]_views_backup.csv文件，管理起来更清晰。

如果需要更灵活的处理（比如过滤特定视图、自动上传到云存储），用Python脚本是最优解：

1. 先安装BigQuery Python库：

pip install google-cloud-bigquery

2. 配置认证（执行gcloud auth application-default login，按照提示完成登录）。
3. 运行下面的脚本（替换项目ID）：

from google.cloud import bigquery
import csv

# 初始化BigQuery客户端
client = bigquery.Client(project="your-project-id")

# 查询所有视图的元数据
query = """
SELECT
  table_catalog AS project_id,
  table_schema AS dataset_id,
  table_name AS view_name,
  view_definition
FROM
  `your-project-id`.*.INFORMATION_SCHEMA.VIEWS
"""
query_job = client.query(query)
results = query_job.result()

# 导出到本地CSV文件
with open("bigquery_views_full_backup.csv", "w", newline="", encoding="utf-8") as backup_file:
    writer = csv.writer(backup_file)
    # 写入表头
    writer.writerow(["项目ID", "数据集ID", "视图名称", "视图定义"])
    # 遍历结果写入行
    for row in results:
        writer.writerow([row.project_id, row.dataset_id, row.view_name, row.view_definition])

print("所有视图定义备份完成！")

额外小提示 #

备份完之后，建议先确认哪些视图还在使用，避免误删：
可以用下面的SQL查询最近30天被访问过的视图（替换项目ID和区域）：

SELECT
  DISTINCT referenced_tables.table_name AS view_name,
  referenced_tables.table_schema AS dataset_id
FROM
  `your-project-id`.`region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
CROSS JOIN UNNEST(referenced_tables) AS referenced_tables
WHERE
  job_type = 'QUERY'
  AND TIMESTAMP_DIFF(CURRENT_TIMESTAMP(), creation_time, DAY) <= 30
  AND referenced_tables.table_type = 'VIEW'

内容的提问来源于stack exchange，提问作者getserenity