如何在Dataform（对接BigQuery）中循环生成UNION ALL查询

需求背景 #

使用Dataform对接BigQuery时，现有render_script函数用于生成检查指定维度为空的SQL语句，目前需要手动多次调用该函数并通过UNION ALL拼接结果，希望通过遍历维度列表程序化实现拼接，替代重复代码。

现有代码 #

脚本文件（script_builder.js） #

function render_script(table, dimensions, date) {
  return `
      select
      '${dimensions.map(field => `${field} is null`)}' as failing_row_condition,
      *
      from ${table}
      where 
        ${date} >= DATE_SUB(CURRENT_DATE(), INTERVAL 3 day) 
      and ${dimensions.map(field => `${field}`)} IS NULL
    `;
}

module.exports = { render_script };

原手动调用方式（sqlx文件） #

${script_builder.render_script(ref("table"),
                               ["dim1"],
                               "date"
                               )}

UNION ALL

${script_builder.render_script(ref("table"),
                               ["dim2"],
                               "date"
                               )}

解决方案 #

在sqlx文件中直接使用JavaScript的数组遍历与字符串拼接能力，自动生成所有子查询并通过UNION ALL连接：

修改后的sqlx文件代码 #

${
  // 定义需要检查的所有维度
  const targetDimensions = ["dim1", "dim2", "dim3"];
  // 遍历维度列表，生成对应SQL片段后拼接
  targetDimensions
    .map(dimension => script_builder.render_script(ref("table"), [dimension], "date"))
    .join("\n\nUNION ALL\n\n")
}

说明 #

• 新增维度时，只需在targetDimensions数组中添加字段名即可，无需重复编写UNION ALL和函数调用代码
• 保持原有render_script函数逻辑不变，确保生成的SQL语义与手动调用完全一致

内容的提问来源于stack exchange，提问作者Simon Breton