拆分长SQL时如何自动移除未使用的CTE，有可用工具吗？

专用自动化清理工具 #

• SQLFluff：内置成熟的unused_cte静态分析规则，运行后可自动扫描全量SQL中既未被最终查询引用、也未被其他下游CTE调用的孤立CTE，支持一键标记并移除匹配的冗余CTE定义，兼容MySQL、PostgreSQL、BigQuery等绝大多数主流SQL方言，不需要手动逐行梳理上千行WITH子句的依赖关系。
• Apache Calcite：作为通用SQL解析优化引擎，可完整构建整段SQL的抽象语法树与CTE引用依赖链。拆分时只需把需要保留的最终SELECT列表传入引擎，它会从最终输出节点反向回溯全链路依赖，自动过滤掉完全不在依赖路径上的无用CTE，适合嵌入自有自动化流程做批量处理。
• 云数据库自带的SQL优化分析能力：Snowflake、BigQuery等数据平台的执行计划分析模块，会直接标记执行链路中完全不被访问的CTE节点，可直接根据标记内容删除对应CTE定义，不需要额外安装第三方工具。

低门槛适配流程的轻量实现 #

• 基于Python的自处理逻辑：可使用sqlglot解析库加载原始全量SQL，先定位到最终SELECT语句节点，手动移除拆分后不需要保留的输出列；之后从当前最终查询节点出发，递归遍历所有FROM、JOIN子句中引用的CTE名称，将所有未被遍历到的CTE定义从WITH子句中剔除，整个流程可直接和后续基于唯一ID做两部分结果合并的Python脚本打通，不需要跨工具操作。
• 交叉校验的手动流程：如果暂时不需要搭建全自动化链路，可以从最终保留的每一列的来源表/来源CTE开始，逐层向上追溯引用关系，所有和保留列无关联路径的CTE都可直接删除，过程中用SQLFluff的静态检查结果做交叉校验，避免漏删或误删。

操作注意事项 #

• 自动清理完成后必须做一致性校验：对比原始全量查询、清理后的拆分查询在相同测试数据集下的输出结果，确认没有因为遗漏递归CTE内部引用、跨CTE隐式关联导致的逻辑偏差。
• 拆分后的两个独立查询必须保留完全一致的唯一ID字段作为关联键，避免后续Python脚本或Excel合并时出现数据错位。
• 对带物化、临时写入逻辑的CTE要单独标记：这类CTE即使没有直接被最终SELECT引用，也可能承担了中间数据预处理的作用，不要仅凭工具标记就直接删除。

内容的提问来源于stack exchange，提问作者eRic