BigQuery数据集维护：多版本表/视图选择困惑及冗余清理方案咨询

嘿，这个问题我太有共鸣了——BigQuery里堆着一堆不同版本的表和视图，每次要找正确的那个都得来回确认，真的很浪费时间。结合我自己的实践和社区里的经验，分享几个清理未使用/不必要资源的靠谱方法：

第一步肯定是别瞎删，得先精准定位哪些是闲置资源。BigQuery自带的INFORMATION_SCHEMA就能帮你搞定这个，比如我常用这个查询找出最近90天没被访问过的表和视图：

SELECT
  table_catalog,
  table_schema,
  table_name,
  table_type,
  last_query_time
FROM
  `region-us`.INFORMATION_SCHEMA.TABLES -- 替换成你的数据集所在region
WHERE
  last_query_time < TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 90 DAY)
  AND table_type IN ('BASE TABLE', 'VIEW')
ORDER BY
  last_query_time ASC;

这里要提醒一句：last_query_time会记录大部分查询访问，但如果是通过某些内部API或者自动化工具调用的，可能需要结合你自己的元数据或者BigQuery审计日志再交叉验证一下，避免误判。

清理只是治标，最好的办法是从一开始就不让冗余表泛滥：

• 强制命名规范：比如给版本表加_v1、_v2后缀，或者用日期戳_20240520，同时保留一个_latest的别名（视图或者表别名）指向当前在用的版本。这样团队所有人都知道该用哪个，旧版本自然就可以标记为待清理。
• 设置自动过期：对于临时表、测试表，创建的时候直接设置过期时间，到点自动删除，省得手动清理。比如用SQL创建时加这个选项：

CREATE OR REPLACE TABLE my_dataset.test_table
OPTIONS(
  expiration_timestamp = TIMESTAMP_ADD(CURRENT_TIMESTAMP(), INTERVAL 30 DAY)
)
AS SELECT * FROM source_table;

当然也可以在BigQuery UI里直接给已有的表设置过期时间，找表详情里的“过期时间”就行。

确定要删之后，别直接动手，按流程来更稳妥：

• 先标记+通知：把待清理的表列出来，发邮件或者在团队群里同步，确认这些表真的没人用。还可以给这些表加个标签status:deprecated，方便后续跟踪。
• 备份再删除：对于拿不准的表，先做个快照或者导出到GCS存几天，万一删错了还能恢复。快照的SQL是这样的：

CREATE SNAPSHOT TABLE my_dataset.old_table_snapshot
OPTIONS(
  expiration_timestamp = TIMESTAMP_ADD(CURRENT_TIMESTAMP(), INTERVAL 7 DAY) -- 快照7天后自动删除
)
AS SELECT * FROM my_dataset.old_table;

• 批量处理提高效率：如果有一批表要删，用bq命令行工具批量删比UI一个个点快多了，比如：

bq rm -r -f my_dataset.table_v1 my_dataset.view_v2

-r是递归删除（如果是分区表或者有嵌套结构的话），-f是强制删除，不用每次确认。

• 定期审计：我一般每月跑一次未使用表的查询，生成一份小报告同步给团队，养成清理的习惯。
• 权限控制：限制随意创建表的权限，比如测试环境的表创建权限只给特定的人，避免大家随便建表之后没人管。
• 用视图过渡：如果有些旧表还有人偶尔访问，可以先创建一个视图指向新版本，把旧表标记为待删除，等过一两周确认没人用了再删，这样不会影响业务。

内容的提问来源于stack exchange，提问作者Adithya