关于ZetaSQL解析能力、血缘提取及SimpleCatalog的技术问询

关于ResolvedNodes与派生表的血缘解析 #

• 能否从ResolvedNodes获取源列？
  可以。ZetaSQL的ResolvedNodes包含了查询的完整语义解析结构，比如ResolvedSelectStmt、ResolvedColumnRef、ResolvedScan等节点。通过遍历这些节点，能精准追踪每个输出列对应的源列：

  • 对于直接引用的表列，ResolvedColumnRef会关联到ResolvedColumn，而该ResolvedColumn所属的ResolvedTableScan可直接指向源表及对应列；
  • 对于计算列（如a + b），可拆解表达式节点，逐层找到底层的源列引用。
    实际操作中，你可以遍历ResolvedSelectStmt的selectList，逐个处理ResolvedSelectItem的表达式，提取对应的源列信息。

• 能否对SQL中的派生表进行级联血缘解析？
  完全可以。派生表（子查询、CTE等）会被解析为ResolvedSubqueryScan或ResolvedWithQuery类型的节点。你需要通过递归遍历实现级联解析：

  1. 当遇到派生表节点时，提取其内部的查询语句；
  2. 对该内部查询再次调用ZetaSQL Analyzer进行解析；
  3. 重复血缘提取逻辑，将派生表的输出列与它依赖的源表/列关联；
  4. 最终将主查询对派生表的引用，串联到派生表底层的源数据，形成完整的级联血缘链。

关于SimpleCatalog的疑问 #

• 为何SQL中已包含引用表仍需注册表目录？后台会执行哪些检查？
  ZetaSQL的Analyzer是语义级解析器，而非单纯的语法解析器，它依赖Catalog提供的元数据完成语义验证，才能生成可用于血缘提取的完整ResolvedNodes结构。后台会执行以下关键检查：

  • 验证SQL中引用的表/视图是否存在于Catalog中；
  • 检查列名是否在对应表中存在；
  • 验证数据类型的兼容性（如JOIN条件、计算表达式中的类型匹配）；
  • 若配置了权限规则，还会验证访问权限的合法性。
    缺少Catalog元数据的话，Analyzer无法完成语义分析，会直接抛出错误，更无法提取准确的血缘信息。

• 注册的目录是否仅在运行时有效？是否需要注册所有引用表？有没有缓存方式？

  • 运行时有效性：SimpleCatalog实例仅在当前运行时有效，进程结束或实例被垃圾回收后就会被清除，它本身不提供持久化能力；
  • 注册表范围：需要注册SQL中所有直接或间接引用的表（包括派生表依赖的底层表），否则Analyzer会抛出“表不存在”的语义错误；
  • 缓存方案：可以自行实现缓存机制，比如将从BigQuery元数据服务获取的表结构（表名、列名、数据类型等）缓存到内存（如Guava Cache）或外部存储（如Redis），后续解析涉及相同表的查询时，直接从缓存加载元数据到SimpleCatalog，避免重复查询BigQuery元数据，提升解析效率。

内容的提问来源于stack exchange，提问作者Jay-r Bangit