如何捕获BigQuery中存储过程、CREATE OR REPLACE等语句的列血缘？

核心问题分析 #

官方BigQuery数据血缘方案默认仅处理SELECT语句的列映射，因为这类语句的列依赖关系直观；但存储过程（Stored Procedures）、CREATE OR REPLACE类DDL语句包含嵌套SQL、变量/参数、隐式列映射等复杂逻辑，需要扩展解析逻辑才能覆盖。

具体解决方案 #

1. 扩展SQL解析器的AST节点处理 #

官方方案基于BigQuery SQL解析库（com.google.cloud.bigquery:bigquery-sql-parser）实现，需添加对目标语句类型的AST节点分支处理：

• 识别CREATE_OR_REPLACE_TABLE、CREATE_OR_REPLACE_VIEW、CREATE_OR_REPLACE_PROCEDURE等DDL节点
• 识别存储过程定义中的PROCEDURE_BODY节点，提取内部嵌套SQL语句

2. 存储过程的列血缘捕获 #

• 解析过程定义：从BigQuery的INFORMATION_SCHEMA.ROUTINES获取存储过程的完整定义文本，解析其AST结构
• 递归处理内部SQL：遍历过程体中的所有DML/DDL语句（如INSERT、UPDATE、嵌套SELECT），对每个语句单独执行列血缘解析
• 变量/参数映射：跟踪过程中变量的赋值来源（如SET var = (SELECT col FROM src_table)），将后续使用变量的目标列关联到对应的源列

3. CREATE OR REPLACE语句的列血缘处理 #

• CREATE OR REPLACE TABLE/VIEW AS SELECT：解析AS后的SELECT子句，提取列映射关系：
  • 若目标表显式指定列名，将SELECT输出列与目标列一一对应
  • 若为默认列名，直接将SELECT的输出列（含别名）与目标表列关联
• CREATE OR REPLACE VIEW：直接解析VIEW定义中的SELECT语句，建立视图列与源表列的血缘关系

4. 修改官方代码的关键逻辑 #

• 在核心解析类（如LineageExtractor）中新增AST节点处理分支，针对目标语句类型执行专属解析逻辑
• 实现递归解析函数，处理嵌套SQL语句的列血缘（如存储过程内部的INSERT ... SELECT）
• 完善别名解析逻辑，处理SELECT src.col AS target_col这类显式别名的映射，以及隐式列名的关联

5. 测试与验证 #

• 编写覆盖场景的测试用例：包含带变量的存储过程、CREATE OR REPLACE TABLE AS SELECT、CREATE OR REPLACE VIEW等
• 对比解析结果与预期的列血缘关系，验证正确性

内容的提问来源于stack exchange，提问作者Vikas Tiwari