如何在BigQuery中追踪未显式声明的表列在视图中的使用情况？

一、确认dataset.view1对dataset.table1列的使用 #

可以通过SQL或Python脚本实现，无需付费工具：

方法1：SQL解析视图DDL+关联表列信息 #

1. 获取视图的DDL：

SELECT 
  table_name,
  ddl
FROM 
  `dataset.INFORMATION_SCHEMA.VIEWS`
WHERE 
  table_name = 'view1'

2. 从DDL中确认它引用了dataset.table1，再查询该表的所有列：

SELECT column_name
FROM `dataset.INFORMATION_SCHEMA.COLUMNS`
WHERE table_name = 'table1'

因为视图使用select *，所以table1的col1、col2均被view1使用。

方法2：Python脚本自动解析（基于google-cloud-bigquery库） #

利用BigQuery客户端库获取视图DDL，解析出引用表后提取列信息：

from google.cloud import bigquery
import re

client = bigquery.Client()

# 获取view1的DDL
view_ref = client.dataset("dataset").table("view1")
view = client.get_table(view_ref)
ddl = view.view_query

# 解析引用的表（适配简单DDL场景）
match = re.search(r'from\s+`?([\w.]+)`?', ddl, re.IGNORECASE)
if match:
    referenced_table = match.group(1)
    # 获取引用表的列
    table_ref = client.get_table(referenced_table)
    columns = [col.name for col in table_ref.schema]
    print(f"view1 使用了 {referenced_table} 的列: {', '.join(columns)}")

二、追踪dataset.view2对dataset.table1列的使用 #

由于view2依赖view1，需要递归解析依赖链，最终关联到底层表的列：

方法1：递归SQL查询依赖链 #

利用BigQuery的VIEW_DEPENDENCIES视图递归获取所有依赖，再关联列信息：

WITH RECURSIVE view_deps AS (
  SELECT
    view_name,
    referenced_table_name,
    referenced_table_dataset,
    1 AS depth
  FROM
    `dataset.INFORMATION_SCHEMA.VIEW_DEPENDENCIES`
  WHERE
    view_name = 'view2'
  UNION ALL
  SELECT
    vd.view_name,
    vd2.referenced_table_name,
    vd2.referenced_table_dataset,
    vd.depth + 1 AS depth
  FROM
    view_deps vd
  JOIN
    `dataset.INFORMATION_SCHEMA.VIEW_DEPENDENCIES` vd2
  ON
    vd.referenced_table_name = vd2.view_name
    AND vd.referenced_table_dataset = vd2.table_dataset
)
SELECT DISTINCT
  column_name
FROM
  view_deps
JOIN
  `dataset.INFORMATION_SCHEMA.COLUMNS` c
ON
  view_deps.referenced_table_name = c.table_name
  AND view_deps.referenced_table_dataset = c.table_schema
WHERE
  c.table_name = 'table1'

该查询会先找到view2依赖view1，再追踪到view1依赖table1，最终返回col1、col2。

方法2：Python递归解析依赖链 #

扩展脚本逻辑，递归解析每个依赖的视图，直到找到底层表：

from google.cloud import bigquery
import re

client = bigquery.Client()

def get_referenced_columns(view_id):
    # 获取视图DDL
    view = client.get_table(view_id)
    ddl = view.view_query

    # 解析所有引用对象
    matches = re.findall(r'from\s+`?([\w.]+)`?', ddl, re.IGNORECASE)
    columns = []
    for ref in matches:
        try:
            obj = client.get_table(ref)
            if obj.table_type == 'TABLE':
                # 如果是表，直接提取列
                columns.extend([col.name for col in obj.schema])
            elif obj.table_type == 'VIEW':
                # 如果是视图，递归解析
                columns.extend(get_referenced_columns(ref))
        except Exception as e:
            print(f"解析引用 {ref} 失败: {e}")
    # 去重返回
    return list(set(columns))

# 查询view2的底层引用列
result = get_referenced_columns("dataset.view2")
print(f"view2 使用了底层表的列: {', '.join(result)}")

注意事项 #

• 上述方法适用于select *这类简单场景，如果视图DDL包含复杂逻辑（如子查询、多表JOIN、列别名），正则解析可能不准确，可使用sqlparse等专业SQL解析库优化逻辑。
• 确保使用的BigQuery账号拥有视图和底层表的元数据读取权限。

内容的提问来源于stack exchange，提问作者Dobrin Stoilov