如何通过Dataform CLI获取项目中所有已编译SQL查询?
解决方案:通过Dataform CLI获取完整编译SQL
默认的dataform compile仅输出任务清单,要获取完整编译后的SQL语句,可通过以下几种方式实现:
查看默认编译输出目录
执行dataform compile后,Dataform会自动在项目根目录下生成.dataform/compiled隐藏目录,里面按环境、任务类型分类存放了所有编译后的SQL文件(通常以.sql后缀命名),直接查看这些文件即可获取完整查询内容。指定自定义输出目录
如果需要更直观的文件结构,可通过--output-dir参数指定编译结果的输出路径,命令如下:dataform compile --output-dir ./compiled-results执行后,
./compiled-results目录下会生成所有编译后的SQL及配置文件,你可以直接浏览或批量处理这些文件。查看单个任务的编译SQL
若只需查看特定表/任务的编译SQL,可使用dataform show命令,指定任务的完整名称(如datasetname.tablename1):dataform show datasetname.tablename1该命令会直接输出该任务编译后的完整SQL语句。
批量导出所有任务的SQL(脚本方式)
如果你需要批量提取所有任务的SQL,可以直接解析默认编译目录下的文件,例如用简单的bash脚本批量汇总:# 遍历编译目录下的所有SQL文件,输出到汇总文件 find .dataform/compiled -name "*.sql" -exec cat {} \; > all-compiled-sql.txt
内容的提问来源于stack exchange,提问作者Chaouki
相关产品推荐
相关产品推荐

