Databricks SQL未使用CTE导致临时视图找不到的问题排查

问题场景 #

在DBR 13.3 LTS（对应Spark 3.4.1）环境下：

• 创建全局临时视图gtv_1、gtv_2，两者均可独立正常访问
• 创建依赖上述两个视图的全局临时视图gtv_3
• 编写包含CTE的查询时，若CTE中定义了未被最终查询引用的cte2（该CTE依赖gtv_2），执行查询会报错找不到global_temp.gtv_2
• 若在最终查询中强制关联这个未被需要的cte2，查询则可正常运行

根因分析 #

该异常与Spark配置项spark.sql.legacy.ctePrecedencePolicy直接相关：

• 默认的CORRECTED模式下，Spark会优化掉未被最终查询引用的CTE，导致解析gtv_3时无法找到其依赖的gtv_2——因为cte2被提前剔除，破坏了视图依赖的解析上下文
• 切换为LEGACY模式后，Spark会保留所有CTE的解析上下文，即使CTE未被最终查询引用，也会完成其依赖的解析，从而避免找不到视图的报错

解决方案 #

将spark.sql.legacy.ctePrecedencePolicy设置为LEGACY，可通过两种方式生效：

1. 会话级配置（仅当前会话有效）：

SET spark.sql.legacy.ctePrecedencePolicy = LEGACY;

2. 集群级配置（所有会话生效，需重启集群）：在Databricks集群配置的Spark属性中添加spark.sql.legacy.ctePrecedencePolicy=LEGACY

除EXPLAIN外的SQL底层排查方法 #

1. 查看视图元数据与依赖 #

使用DESCRIBE EXTENDED查看视图的详细元数据，包括依赖的表/视图、创建语句、存储信息等：

DESCRIBE EXTENDED global_temp.gtv_3;

2. 启用SQL解析调试日志 #

调整Spark日志级别为DEBUG，重点关注SQL解析和分析阶段的日志：

• 核心日志类：org.apache.spark.sql.execution.SparkSqlParser（负责SQL语法解析）、org.apache.spark.sql.catalyst.analysis.Analyzer（负责语义分析）
• 会话级开启命令：

SET log4j.logger.org.apache.spark.sql.catalyst.analysis.Analyzer=DEBUG;

3. 查看视图创建语句 #

使用SHOW CREATE TABLE确认视图的定义是否符合预期，排查是否存在隐式依赖问题：

SHOW CREATE TABLE global_temp.gtv_3;

4. 开启Catalyst解析AST调试 #

启用spark.sql.catalyst.parser.debug配置，输出SQL解析后的抽象语法树（AST），直观查看CTE的处理逻辑：

SET spark.sql.catalyst.parser.debug = true;

执行目标SQL后，日志中会输出详细的AST结构，可用于分析CTE是否被正确识别和保留

5. 分阶段验证SQL逻辑 #

拆分复杂SQL为多个步骤，逐步验证每个组件的可用性：

• 单独执行cte2的定义语句，确认能否正常访问gtv_2
• 单独查询gtv_3，确认其本身的依赖是否正常

内容的提问来源于stack exchange，提问作者Error_2646